Cloudflare запрещает гибридные ИИ-скраперы с 15 сентября

Обновление политики Cloudflare

С 15 сентября провайдер облачных сервисов Cloudflare введет автоматическую блокировку гибридных скраперов, использующих ИИ-алгоритмы для поиска и обучения моделей. Компания требует разделение функций на поисковые, образовательные и агентные задачи.

Новые инструменты анализа

Cloudflare представила доску Attribution Business Insights, которая помогает владельцам сайтов понимать поведение ботов, их потребности и потенциальную ценность. Эта функция позволит отслеживать, какие запросы наиболее релевантны для контента.

Цели изменения политики

Специалисты объяснили, что издатели хотят сохранять видимость в поисковиках и ИИ-сервисах, но не готовы раздавать контент бесплатно. «Риск развития экосистемы "нулевого клика", где чат-боты собирают информацию без обращения к источникам, уже заметен. Мы видим смещение с SEO к AEO и теперь к GEO», — заявили в компании.

Влияние на инфраструктуру

По данным провайдера, 50% трафика от ИИ-скраперов приходится на повторное сканирование страниц, которое не приносит пользы. Это увеличивает нагрузку на серверы. Изменение затронет новых клиентов, действующих пользователей и владельцев бесплатных тарифов. Отключение блокировки возможно вручную.

Новая модель оплаты

Cloudflare запустила коммерческую схему Pay Per Use, где издатели получают вознаграждение не только за доступ к материалам, но и если их контент используется ИИ-сервисами. На первом этапе сотрудничество ведется с Ceramic.ai и You.com. Авторы получают выплаты, если их статьи появляются в выдаче чат-ботов.

Технические проблемы в прошлом

Напомним, что 18 ноября 2025 года компания столкнулась с масштабными сбоями, которые повлияли на работу множества сайтов и Web3-сервисов. Это вызвало критику со стороны пользователей и экспертов.