Новые правила игры: разделение ботов
Cloudflare объявила о радикальном изменении политики доступа к веб-контенту. С 15 сентября 2026 года настройки по умолчанию для новых клиентов, новых сайтов и всех существующих бесплатных пользователей будут блокировать так называемые «смешанные» (mixed-use) краулеры. Эти боты, которые одновременно используются для традиционного поиска, работы AI-агентов и обучения моделей, больше не смогут автоматически скрейпить страницы, содержащие рекламу, если владелец сайта не изменит настройки вручную.
Почему это важно для индустрии
Решение направлено на защиту интеллектуальной собственности издателей. По словам сооснователя и CEO Cloudflare Мэтью Принса, большинство владельцев сайтов хотят, чтобы их контент был обнаружим через поиск, но не готовы отдавать его бесплатно для обучения ИИ. Принс отмечает, что сейчас на долю ботов приходится большинство интернет-трафика, и экосистема должна стать устойчивой. Cloudflare указывает, что Google имеет доступ примерно к 2x большему объему информации, чем другие ИИ-компании, так как поисковый гигант делает сложным отказ от использования контента без потери видимости в поиске.
Эволюция монетизации: от Pay Per Crawl к Pay Per Use
Cloudflare развивает свою платформу монетизации данных. Ранее запущенный инструмент Pay Per Crawl позволял сайтам взимать плату за сам факт скрейпинга. Теперь он эволюционирует в Pay Per Use — модель, при которой издатели получают деньги только тогда, когда их контент создает ценность для ИИ-компании (например, появляется в результатах поиска или используется премиум-контентом). Это также помогает экономить пропускную способность: данные Cloudflare показывают, что более 50% трафика от ИИ-краулеров тратится на повторное получение неизмененных страниц.
Пилотные проекты и партнеры
Для внедрения новой модели Cloudflare изначально сотрудничает с двумя компаниями: Ceramic.ai и You.com. В рамках пилотного проекта издатели получают оплату, когда их контент появляется в результатах поиска Ceramic или когда You.com получает доступ к их платному контенту. Другие ИИ-компании смогут кастомизировать эту модель под свои нужды.
Сравнение подходов к доступу к данным
| Критерий | Старая модель (Default) | Новая модель (с 15.09.2026) |
|---|---|---|
| Доступ смешанных ботов | Разрешен по умолчанию | Заблокирован по умолчанию (если есть реклама) |
| Монетизация | Отсутствует / Pay Per Crawl | Pay Per Use (оплата за ценность) |
| Контроль издателя | Ограниченный | Полный (настройки по умолчанию) |
| Партнеры для внедрения | — | Ceramic.ai, You.com |
Реакция рынка
Google ранее возражал против обобщений, утверждая, что предоставляет бота Google Extended для отказа от использования контента в обучении (включая Gemini Apps и Vertex API), не влияя на индексацию в поиске. Однако новый шаг Cloudflare создает прецедент, который может заставить другие крупные поисковые системы и ИИ-провайдеров пересмотреть свои стратегии сбора данных, делая акцент на прозрачности и коммерческом взаимодействии с издателями.
Источник: TechCrunch ↗