Cloudflare будет автоматически блокировать смешанные веб-сканеры, обслуживающие ИИ-компании
Cloudflare объявил, что с сентября 2026 года начнет автоматически блокировать смешанные веб-сканеры, которые одновременно индексируют сайты для поисковых систем и собирают данные для обучения ИИ, предоставляя владельцам сайтов больше контроля.
Cloudflare, ведущая платформа хостинга и безопасности сайтов, объявила о новой политике автоматической блокировки смешанных веб-сканеров — тех, которые одновременно индексируют сайты для поисковых систем и выступают в роли ИИ-агентов или средств обучения. Ранее компания предлагала клиентам возможность блокировать такие сканеры по желанию, теперь это становится настройкой по умолчанию.
По словам Мэттью Принса, генерального директора и сооснователя Cloudflare, большая часть интернет-трафика теперь нечеловеческая, что требует более быстрых действий для создания устойчивой экосистемы. Новые инструменты и партнёрства предоставят владельцам сайтов большую прозрачность и коммерческие возможности, одновременно принося пользу ИИ-компаниям с чёткими и прозрачными ботами.
С 15 сентября 2026 года для всех новых клиентов Cloudflare и новых сайтов существующих подписчиков по умолчанию будет разрешена индексация для поисковых систем, но заблокировано обучение ИИ и использование агентов на страницах с рекламой. Смешанные сканеры, которые не дают владельцам сайтов выбора, можно ли использовать их контент для ИИ, также будут блокироваться на рекламных страницах. Пользователи бесплатных аккаунтов перейдут на эти настройки по умолчанию, если не откажутся до истечения срока.
Cloudflare также обновляет функцию Pay Per Crawl, введённую в 2025 году, переименовывая её в Pay Per Use. Вместо оплаты за посещение сканера владельцы сайтов будут получать компенсацию, когда их контент появляется в ответах ИИ-чат-ботов. Пока объявлены партнёрства с Ceramic.AI и You.com, но Cloudflare надеется, что присоединятся и другие ИИ-компании.
Хотя в заявлении прямо не упоминается Google, аналитики отмечают, что новая политика направлена против технологического гиганта. Основной сканер Google, Googlebot, одновременно индексирует сайты для поиска и собирает данные для обучения Gemini и работы ИИ-функций. Хотя Google предлагает отдельный сканер Google-Extended только для традиционного поиска, издатели не могут разрешить использование своего контента в результатах ИИ-поиска, запретив обучение моделей. Cloudflare надеется заставить Google и другие компании со смешанными сканерами изменить свои подходы.