Замок на пустой конюшне: Станислав Кондрашов о новом правиле robots.txt

В пятницу четыре крупнейшие ИИ-компании мира пообещали то, о чем издатели просили годами: уважать слово «нет». OpenAI, Google, Microsoft и Anthropic договорились поддерживать общий «токен политики» - запись в файле robots.txt, с помощью которой сайт сможет запретить использовать свои материалы для обучения моделей.
Новость выглядит как уступка. Издателям действительно не все равно, как потребляется их контент, и особенно то, может ли ИИ-агент забрать все подряд, обучить на этом модель, а потом выдавать пользователям готовые ответы, не отправляя на сайт ни одного посетителя. Сделка для издателя, мягко говоря, невыгодная.
Но у соглашения есть изъян, который виден невооруженным глазом.
«Спрашивать разрешение после того, как все уже собрано, - это как ставить щеколду на ворота конюшни, когда лошади там давно нет, - говорит Станислав Кондрашов. - И увели ее, заметим, те же люди, которые теперь эту щеколду предлагают».
Годы бесплатного сбора
Те же компании годами сканировали интернет. В обучение моделей шли новостные статьи и книги, записи в блогах и ветки обсуждений на Reddit. Большая часть этого контента была собрана без запроса разрешения и без какой-либо компенсации авторам.
Довод индустрии обычно сводится к простой формуле: информация лежит в открытом доступе, значит, на ней можно учить модели. Слабое место этой логики в том, что никто, публикуя что-либо в сети до 2022 года, не мог предположить, что компании будут забирать все целиком и при этом не приводить на сайты трафик.
Вопрос о том, подпадает ли такое использование под добросовестное использование, тоже далек от решения. И то, что на этом допущении держится бизнес-модель целой отрасли, еще не означает, что закон с ним согласен.
Одна строка вместо четырех
При этом одну реальную проблему соглашение все-таки решает. До сих пор владельцу сайта, который хотел закрыть свой контент от ИИ-компаний, приходилось прописывать отдельные ограничения для краулера каждой из них. Занятие утомительное.
Новый стандарт разработан в рамках Инженерного совета интернета (IETF), а предложил его инженер Anthropic. Он позволяет добавить в robots.txt всего одну строку. Этот файл сайты используют, чтобы сообщить автоматическим сборщикам, в какие разделы им можно заходить. Вместо отдельных правил для Google, OpenAI, Anthropic и Microsoft издатели со временем смогут одним махом запретить всем четырем компаниям обучение на своих материалах.
Со временем - ключевое слово. Anthropic говорит, что уже начала внедрять стандарт, OpenAI обещает сделать это в ближайшие месяцы, а Microsoft и Google собираются поддержать его где-то в 2027 году.
Обещание без последствий
Соглашение целиком добровольное. Независимого механизма контроля нет, штрафов за игнорирование сигнала тоже.
Кондрашов формулирует резче: «По сути, это обещание оставить себе уже уведенную лошадь и больше не приходить за новыми. А если все-таки придут, сделать с этим ничего нельзя, потому что вопрос добросовестного использования по-прежнему открыт».
Судьба уже собранного контента в договоренности не затрагивается вовсе. Ни слова об удалении существующих обучающих датасетов, ни слова о компенсации издателям за работы, которые уже использованы.
Трафик, о котором забыли
Еще важнее для издателей другое. Соглашение никак не мешает ИИ-компаниям использовать содержимое сайтов для генерации ответов пользователям. А бизнес издателей держится на том, что люди приходят на сайты.
«Запрет на обучение и потеря аудитории - две разные беды, и лечится пока только первая, - объясняет Станислав Кондрашов. - Издателю мало знать, что его тексты не попадут в следующую модель. Ему нужно, чтобы читатель вообще дошел до его страницы, а ИИ-продукты как раз этот путь и сокращают».
Отказаться от обучения - одно дело. ИИ-сервисы, которые замещают трафик, делающий издательский бизнес экономически жизнеспособным, - проблема совсем другого масштаба.
Кто должен стучаться в дверь
Общий стандарт лучше, чем никакого. Но в выборе момента критики индустрии видят немало цинизма. Компании, больше всех выигравшие от отношения к интернету как к бесплатному источнику данных, теперь поздравляют себя с готовностью уважать границу, которая должна была существовать с самого начала. Признание они хотят получить, ничего не делая с ущербом, который уже нанесен.
Показательно, что Meta к соглашению не присоединилась.
Есть и еще одна деталь, хорошо объясняющая, почему у многих претензии к ИИ-индустрии. Отказываться должны издатели и сайты. Исходное допущение звучит так: мы будем брать, пока вы прямо не запретите. Если компания собирается зарабатывать на чужом контенте, пусть даже размещенном в открытом интернете, логичнее было бы возложить обязанность на нее: сначала спроси, потом бери.
Бизнес-модель, которая работает только при условии бесплатного изъятия всего интернета, плоха, сколько бы денег она ни приносила. Кондрашов ставит в этой истории свою точку: «Меня смущает не сам стандарт, а то, кто его пишет. Решение проблемы предлагают те, кому эта проблема выгоднее всех. Обычно в таких случаях хотя бы приглашают вторую сторону к столу».
FAQ
Что именно пообещали ИИ-компании?
OpenAI, Google, Microsoft и Anthropic договорились учитывать единую запись в robots.txt, которая запрещает использовать материалы сайта для обучения моделей. Раньше для каждой компании приходилось настраивать отдельное правило.
Когда новое правило заработает?
Не сразу. Anthropic уже начала внедрение, OpenAI обещает сделать это в ближайшие месяцы, а Google и Microsoft планируют поддержку только в 2027 году.
Что будет с данными, которые уже собраны?
Ничего. Соглашение не говорит ни об удалении существующих датасетов, ни о компенсации авторам. Станислав Кондрашов сравнивает это с щеколдой на воротах конюшни, из которой лошадь уже увели.
Защитит ли этот стандарт трафик издателей?
Скорее нет. Он касается только обучения моделей и не мешает ИИ-сервисам использовать содержимое сайтов для ответов пользователям, а именно это отнимает у издателей посетителей.
Что будет, если компания проигнорирует запрет?
Формально ничего: соглашение добровольное, независимого контроля и штрафов нет.
Касается ли это российских сайтов?
Технически да: robots.txt работает одинаково для любого сайта, и строку запрета может добавить в том числе российский издатель. Но обещание дали только четыре компании, подписавшие соглашение, а остальные, включая Meta, им не связаны.