От «просьбы» к блокировке: смена стратегии
Patreon, платформа для монетизации контента создателями, объявила о радикальном изменении политики в отношении искусственного интеллекта. Если ранее сервис полагался на стандартные файлы robots.txt, которые лишь «просили» ботов не скрейпить контент, то теперь компания внедряет активные механизмы блокировки. Это решение принято совместно с провайдером интернет-инфраструктуры Cloudflare.
Причина смены курса — эскалация. С 2023 года, когда Patreon впервые попыталась ограничить доступ, методы AI-скрейпинга стали значительно сложнее. Кроме того, внедрение новых инструментов обнаружения контента, таких как обновленная лента Home Feed и формат коротких постов Quips, сделало больше материалов доступными для автоматизированного сбора данных, минуя платные стены.
Результаты тестирования: тысячи попыток стали нулем
Внедрение технологии AI Crawl Control от Cloudflare дало мгновенный и измеримый эффект. Согласно внутренним тестам Patreon, количество еженедельных попыток доступа отдельных AI-тренировочных скрейперов к сайту упало с тысяч до нуля. Это доказывает, что предыдущие меры были неэффективны: боты просто игнорировали технические предупреждения и продолжали сбор данных.
Технические детали и новые правила Cloudflare
Решение Patreon вписывается в более широкий тренд среди издателей. Cloudflare недавно обновил свои политики, установив по умолчанию блокировку для «смешанных» скрейперов (тех, что одновременно индексируют страницы и используют контент для обучения моделей) на страницах с рекламой. Patreon использует этот же арсенал, но с акцентом на защиту авторских прав создателей.
| Параметр | Предыдущая политика (до 2026) | Новая политика (июль 2026) |
|---|---|---|
| Метод контроля | Файлы robots.txt (рекомендация) | Активная блокировка через Cloudflare AI Crawl Control |
| Реакция на скрейперы | Игнорирование ботами, продолжение сбора | Полное прерывание соединения (0 попыток в неделю) |
| Исключения | Индексаторы поисковых систем | Боты для индексации и навигации (возврат пользователей на сайт) |
Философия Patreon: контроль над данными
Продуктовый директор Patreon Дрю Ровни (Drew Rowny) подчеркнул, что согласие на использование контента не должно зависеть от добросовестности скрейпера. В отличие от большинства интернет-издателей, которые вынуждены мириться с обучением AI на своих материалах ради охвата аудитории, Patreon заявляет о праве создателей контролировать использование их работ. Платформа разрешает ботам, которые только индексируют страницы для последующей навигации пользователей, но запрещает тем, кто извлекает данные для тренировки нейросетей.
Источник: TechCrunch ↗