Проблема «одинаковости» в генеративном ИИ
Большинство современных бенчмарков оценивают LLM по задачам с однозначными ответами (математика, код, логика). Однако, когда речь заходит о креативности, оригинальности и дивергенции идей, метрики часто игнорируются. Исследование Nirav Patel и коллег, опубликованное 19 августа 2026 года, впервые системно анализирует, как менялась «творческая индивидуальность» моделей за последние три года.
Методология: Infinity-Chat100 и психометрия
Авторы использовали два ключевых набора данных для оценки открытого творчества:
- Infinity-Chat100: коллекция реальных открытых запросов пользователей, требующих нестандартных решений.
- Alternate Uses Task (AUT): классический психометрический тест на креативность, где нужно придумать нестандартное использование обычных предметов.
Для измерения сходства ответов применялась симуляция на основе sentence-embedding. Это позволило количественно оценить, насколько тексты разных моделей пересекаются по смыслу и структуре, даже если слова различаются.
Ключевые результаты: статистически значимое сужение
Анализ показал тревожную тенденцию: с течением времени разнообразие выходов моделей (output diversity) не растет, а падает. Модели разных поколений и от разных вендоров начинают генерировать ответы, которые семантически почти идентичны. Это явление авторы называют «конвергенцией творческого содержания».
Ниже приведена структура эволюции креативности, выявленная в исследовании:
| Параметр | Наблюдение (2023–2026) | Значение |
|---|---|---|
| Разнообразие ответов | Статистически значимое снижение | Модели «сходятся» к одному «среднему» стилю |
| Оригинальность (AUT) | Снижение вариативности идей | Утрата способности к дивергентному мышлению |
| Семантическое сходство | Рост между моделями разных вендоров | Гомогенизация контента в сети |
Почему это важно для индустрии
Если тренд сохранится, мы столкнемся с гомогенизацией человеческого-машинного творчества. Когда ИИ-инструменты предлагают одни и те же «лучшие» идеи, человеческий агент теряет возможность выбора и уникального вклада. Это ставит под угрозу саму суть креативной работы, превращая её в рутинную генерацию усредненного контента. Исследование требует пересмотра подходов к обучению моделей, чтобы сохранить пространство для вариативности и нестандартных решений.
Источник: arXiv cs.CL ↗