OpenAI, Google, Microsoft и Anthropic внедрят единый сигнал для отказа от сбора данных ИИ
Четыре крупнейшие компании в сфере ИИ заявили, что поддержат новый стандарт, позволяющий издателям сайтов одновременно отказаться от использования контента для обучения ИИ. Сигнал будет указываться в файле robots.txt.
Компании в сфере искусственного интеллекта (ИИ) OpenAI, Google, Microsoft и Anthropic объявили, что внедрят новый стандарт, с помощью которого издатели сайтов смогут отказаться от сбора своего контента для нужд ИИ. До сих пор издателям приходилось сообщать о своих предпочтениях по обучению ИИ каждой компании отдельно, а новый подход позволяет сделать это один раз для всех. Первым о планах сообщил Search Engine Roundtable.
Как это будет работать
Единый сигнал «policy token» предложил Кевин Келли (Kevin Kelley), технический руководитель по стандартам в Anthropic, в рамках Инженерного совета интернета (IETF). Он будет размещаться в файле robots.txt, который давно указывает, каким поисковым роботам разрешено или запрещено сканировать сайт — для поисковой индексации, архивирования или обучения ИИ.
OpenAI, Google, Microsoft и Anthropic заявляют, что ограничат доступ своих ИИ-краулеров к сайту, если обнаружат этот сигнал. Anthropic уже внедрила его, Google и Microsoft планируют поддержать его в следующем году, а OpenAI — в «ближайшие месяцы».
Дополнительные возможности Microsoft и Google
Microsoft сообщает, что предложит более гибкие настройки, позволяющие отказаться как от обучения ИИ, так и от «заземления» (grounding) — процесса, при котором модель ИИ направляют к проверенному источнику информации, чтобы снизить количество выдуманных ответов. Компания добавляет, что сайты по-прежнему будут появляться в результатах поиска Bing независимо от выбранных настроек. Google ранее уже внедрила похожие элементы управления, позволяющие решать, будет ли контент показываться в ИИ-функциях поиска или использоваться для обучения, без влияния на видимость в поиске.
Контекст
Объявление прозвучало на фоне того, что издатели сталкиваются с растущим потоком ИИ-краулеров, которые сканируют сайты и используют их контент для обучения моделей. Против несанкционированного сбора данных уже выступают и другие: стандарт Really Simple Licensing (RSL) позволяет издателям взимать плату с краулеров, а Cloudflare по умолчанию блокирует ИИ-краулеры.
Глава коммуникаций Meta Энди Стоун (Andy Stone) также выразил поддержку новой настройке, но не сказал, будет ли компания её соблюдать. По его словам, создание общего сигнала, который одновременно сообщает о таких предпочтениях нескольким поставщикам, — важный шаг, и Meta рассчитывает на сотрудничество с другими ИИ-компаниями по стандартам и их внедрению.
