Суть эксперимента: 13 моделей, 5 поколений, 90% доли рынка
Авторы изучили феномен model collapse (коллапса модели) в условиях олигополии. В отличие от предыдущих работ, где рынки делились поровну, этот эксперимент моделировал реальную ситуацию: один «олигарх» контролирует до 90% генерируемого контента.
Использовалась группа из 13 открытых моделей объемом 1–4 млрд параметров. Каждое поколение их выходные данные смешивались в общий пул пропорционально их «рыночной доле», после чего все модели переобучались с чистых базовых весов. Эксперимент длился 5 поколений.
Главный вывод: Инвариантность к концентрации
Ожидания, что доминирование одного ИИ ускорит коллапс или заставит все модели копировать его стиль, не подтвердились. Вместо этого обнаружилась инвариантность:
• Изменение рыночной доли и идентичности лидера сдвигает конечную точку экосистемы всего на несколько процентов от общего дрейфа.
• Все экосистемы сходятся к практически одинаковому состоянию, независимо от того, кто является лидером.
• Даже экстремальная доля в 90% не гарантирует управления направлением коллапса.
Что на самом деле ускоряет коллапс?
Скорость деградации определяется не тем, кто занимает большую долю рынка, а тем, кто именно поставляет текст в пул и насколько эти модели подвержены влиянию. Ключевые метрики исследования:
- Влияние состава пула: При фиксированных долях замена участников в экосистеме из 3 моделей меняет дрейф за 5 поколений в 2.8 раза.
- Прогнозируемость: Индекс восприимчивости участников объясняет 68% (R² = 0.68) различий в скорости коллапса между 19 вариантами экосистем.
- Роль человека: Замена половины пула на человеческий текст сокращает дрейф вдвое, не меняя при этом направления коллапса.
Таблица: Влияние факторов на коллапс модели
| Фактор | Влияние на скорость коллапса | Влияние на направление (дрейф) |
|---|---|---|
| Концентрация рынка (до 90% у лидера) | Практически нет (инвариантность) | Минимальное (сдвиг на несколько %) |
| Состав поставщиков текста (K=3) | Высокое (разница в 2.8x) | Незначительное |
| Доля человеческого текста (50% пула) | Снижает дрейф в 2 раза | Не меняет направление |
| Восприимчивость моделей (индекс) | Объясняет 68% вариативности (R²=0.68) | — |
Почему это важно для индустрии
Результаты показывают, что попытки «спасти» ИИ от коллапса через регулирование рыночных долей крупных игроков (например, запрет на доминирование одного провайдера) могут быть неэффективны. Критически важной является качество и разнообразие исходных данных (включая человеческий труд) и устойчивость самих моделей к рекурсивному обучению. Олигарх не может «загрязнить» систему в одиночку, если остальные участники экосистемы устойчивы или если в пул регулярно добавляется человеческий контент.
Источник: arXiv cs.AI ↗