Internet Archive десятилетиями автоматически обходил сайты и делал их “снимки”, чтобы прошлые версии страниц оставались доступными исследователям, журналистам, преподавателям и обычным пользователям. Теперь же ряд крупнейших издателей, среди которых The Guardian, The New York Times, Financial Times и USA Today, подтвердили, что прекращают доступ архива к своему содержанию. Формально они признают важность сохранения цифровой истории, но утверждают, что беспрепятственный доступ создает побочные эффекты, пишет Securitylab, с ссылкой на The Conversation.
Причины две. Первая связана с ИИ. Генеративным системам вроде ChatGPT, Copilot и Gemini нужны большие массивы данных: новости, книги, научные статьи, изображения и другие материалы, которые помогают моделям учиться и отвечать на запросы пользователей. Издатели все чаще заявляют, что технологические компании получали такие данные бесплатно и без согласия правообладателей. На этом фоне начались громкие судебные разбирательства: например, The New York Times подала иск к OpenAI по поводу предполагаемого нарушения авторских прав, а News Corp судится с Perplexity AI, обвиняя компанию в неправомерном использовании контента.
Второй вопрос - платные подписки. Wayback Machine давно стала способом “заглянуть” за платный доступ к статье: если страница когда-то индексировалась архивом, ее прошлую версию иногда можно открыть без подписки. Для газет это болезненно, потому что традиционная рекламная модель все сильнее страдает, в том числе из-за тех же технологических платформ, которые перетягивают внимание и рекламные бюджеты.
При этом издатели, судя по всему, не ограничиваются желанием просто “выключить” ботов. Наоборот, архивы контента превращаются в ценный товар. Журналч и научные издательства все чаще заключают сделки с технологическими компаниями на доступ к своим базам. В тексте приводится пример: соглашение News Corp с OpenAI, по сообщениям, оценивается более чем в 250 млн долларов на пять лет. Похожие процессы идут и в академической среде: крупные издатели теперь продают доступ к массивам журналов технологическим компаниям. Так, Taylor & Francis подписала с Microsoft неэксклюзивный контракт на 10 млн долларов, предоставив доступ более чем к 3 тысячам научных журналов.
Чтобы остановить нежелательных “читателей-роботов”, медиа внедряют технические ограничения против ботов-сканеров. И под удар попадает не только коммерческое сканирование, но и робот Internet Archive, который фиксирует историю сети. Некоторые новостные компании прямо называют архив “черным ходом” к их каталогам: недобросовестные игроки могут продолжать собирать данные или пользователи могут обходить подписки.