Проблема: искусственный рой и коллапс режимов
Большие языковые модели (LLM) часто страдают от так называемого эффекта «искусственного улья» (artificial hivemind effect): при открытых вопросах они генерируют предсказуемо похожие ответы, демонстрируя низкую дивергентность мышления. Это явление, известное как коллапс режимов (mode collapse), критически ограничивает применение ИИ в креативных задачах. Авторы работы Samuel Schapiro, Core Francisco Park, Felix Sosa и Lav R. Varshney предлагают решение, не требующее сбора поведенческих данных или градиентной тонкой настройки.
Решение: контрастивное управление весами
Метод CreativityNeuro использует контрастное управление весами (contrastive weight steering). В отличие от активационного стиринга (activation steering), который работает с промежуточными состояниями сети, этот метод напрямую корректирует веса модели. Это позволяет алгоритму обобщать навыки дивергентного мышления на новые, ранее не виденные задачи, что является ключевым преимуществом подхода.
Результаты: цифры и бенчмарки
Эксперименты проводились на трех основных метриках креативности. Метод показал статистически значимое улучшение по сравнению с базовыми моделями. Ниже приведены ключевые результаты оценки:
| Тест / Метрика | Результат CreativityNeuro | Сравнение / Примечание |
|---|---|---|
| DAT (Divergent Association Task) Тест креативности в пространстве словарей |
До +14 перцентильных пунктов | Человеческий перцентиль. Активационный стиринг показал сопоставимый результат, но не перенесся на другие задачи. |
| AUT (Alternative Uses Test) Тест на оригинальность и неожиданность |
Значительный рост | Оценка проводилась людьми (N=720). Улучшены показатели оригинальности, неожиданности и общей креативности. |
| Task Task Длинноформатные открытые задачи |
Значительный рост | Метод эффективно работает с более сложными и открытыми форматами генерации текста. |
Почему это важно
Главное преимущество CreativityNeuro заключается в его data-free природе. Метод не требует:
- Сбора поведенческих данных (behavioral data).
- Полного переобучения модели (re-training).
- Градиентной тонкой настройки (gradient-based fine-tuning).
Это делает технологию легкой в интеграции для разработчиков, которые хотят повысить креативность своих LLM без колоссальных вычислительных затрат. Работа принята к публикации на ICML 2026 Workshop on Creativity & Generative AI, что подтверждает научную значимость подхода в контексте развития генеративного ИИ.
Источник: arXiv cs.AI ↗