Все новости
anthropicopenaigooglemicrosoft

Издатели получат один флаг против скрейпинга — но не сразу

Anthropic, OpenAI, Google и Microsoft поддержали общий сигнал opt-out в robots.txt для AI-тренинга. Anthropic включила его уже, остальные — к 2027 году.

Влад МакаровВлад Макаровпроверил и опубликовал
6 мин чтения
Издатели получат один флаг против скрейпинга — но не сразу

Ещё недавно, чтобы закрыть сайт от обучающих крауд-роботов нейросетей, издателю нужно было вручную прописывать правила под каждую компанию отдельно — свой user-agent для OpenAI, свой для Google, свой для Anthropic, и так далее по списку, который всё время растёт. В пятницу, 30 октября, это начало меняться: Anthropic, OpenAI, Google и Microsoft заявили, что поддержат общий сигнал в robots.txt, который сообщает о запрете на использование контента для AI-тренинга сразу всем участвующим компаниям одной строкой.

Как это будет работать

Сигнал — это новый блок в robots.txt под отдельным user-agent’ом, куда можно прописать allow или disallow, с возможностью делать исключения для конкретных разделов сайта. Идея принадлежит Кевину Келли, техническому лиду по стандартам в Anthropic: 30 октября он подал соответствующий черновик в рабочую группу AI Preferences (AIPREF) при IETF — той самой организации, которая обычно отвечает за интернет-протоколы, а не за политику AI-компаний. Формально IETF черновик пока не утвердила, и работа группы над вокабуляром AI-предпочтений продолжается — но это не остановило компании от объявления о поддержке сигнала уже сейчас.

Четыре компании выбрали разные сроки и разную глубину внедрения:

КомпанияКогдаДетали
Anthropicуже сейчасавтор инициативы, поддержка включена
OpenAI«в ближайшие месяцы»не заменяет существующие правила для её ботов
Google2027 годесли сигнал стоит на запрет, а Google-Extended не указан отдельно, компания будет считать это запретом и для Google-Extended — контроля, который она предлагает с 2023 года
Microsoft2027 годрасширяет сигнал на grounding (подбор данных для ответов в реальном времени), а 1 февраля 2027 отключает старые директивы NoArchive и NoCache

Google отдельно подчёркивает, что новая механика согласуется с европейским Кодексом практик для провайдеров GPAI-моделей по AI Act, который называет robots.txt основным машиночитаемым способом выразить предпочтения издателя — то есть у инициативы есть и регуляторная подпорка, не только добрая воля четырёх корпораций.

Почему это необычно

Сам факт, что прямые конкуренты в гонке больших языковых моделей сели за один стол и договорились о техническом стандарте — редкость. Обычно Anthropic, OpenAI, Google и Microsoft соревнуются за то, кто первым получит доступ к данным, а не за то, как упростить издателям жизнь по его ограничению. Nieman Lab отмечает, что к инициативе демонстративно не присоединилась Meta: вице-президент компании по коммуникациям Энди Стоун назвал общий сигнал «важным шагом» в твите, но никаких обязательств не взял. Контекст объясняет осторожность — Meta сама оказалась под огнём из-за новых коммерческих условий, которые по мнению юристов открывают широкий скрейпинг новостных сайтов; на прошлой неделе компании пришлось отложить их внедрение.

Для издателя логика проста: вместо переговоров с каждой компанией по отдельности и постоянного отслеживания новых crawler-ботов — одна строка кода, которую понимают сразу четыре крупнейших игрока рынка. Если инициативу поддержат ещё и другие провайдеры, которых OpenAI прямо призывает присоединиться, разница между «заблокировать одного бота» и «заблокировать обучение ИИ в принципе» может наконец исчезнуть.

Издатели не торопятся радоваться

Проблема в том, что сигнал — это декларация о намерениях, а не технический барьер. The Media Copilot приводит данные AI-visibility компании ScalePost: из примерно миллиарда запросов, которые боты четырёх компаний сделали к более чем 50 издательским сайтам за месяц, на сам robots.txt пришлось лишь 0,15% обращений — остальное всё равно уходит на сбор контента напрямую. Алекс Спрингер, технический лид издательской коалиции по стандартам SPUR, раскритиковал то, что компании синхронно объявили о поддержке черновика до завершения работы IETF, назвав это «полной противоположностью» нормального процесса стандартизации. Его вторая претензия — к логике самого документа: по умолчанию в нём обучение на контенте разрешено, если издатель не прописал явный запрет, а не наоборот.

Пол Баннистер, директор по стратегии в Raptive, выразился жёстче — назвал токен «показухой»: ни одна из компаний не обещала отказаться от покупки данных у сторонних скрейперов или использования массивов вроде Common Crawl, через которые тот же контент может попасть в обучение в обход всех флагов. При этом он признаёт, что инструмент не бесполезен — просто это «ещё одна стрела в колчане из тысячи вещей», которые издателю приходится делать для защиты контента. Соглашение явно не касается и того, как контент используется для grounding и инференса в реальном времени — а именно вокруг этого сейчас строятся самые дорогие лицензионные сделки между издателями и AI-компаниями.

Получается двоякая картина: с одной стороны, четыре конкурента впервые согласовали общий язык для разговора с индустрией новостей, и это снижает издержки для тысяч небольших сайтов, у которых просто не было ресурсов разбираться с десятком разных crawler-политик. С другой — реальная проверка наступит не раньше 2027 года, когда Google и Microsoft обещают завершить внедрение, а до этого момента у издателей остаётся старый набор инструментов: индивидуальные блокировки, сетевые фильтры и переговоры с каждой компанией лично.

Похожие новости

Листайте вниз

для загрузки следующей статьи