Проблема: эффект «Искусственного Улья»
Недавние исследования выявили критический недостаток современных больших языковых моделей (LLM) — так называемый эффект «Искусственного Улья» (Artificial Hivemind). Несмотря на попытки разнообразить ответы через высокие значения температуры, модели склонны сходить к узкому, гомогенизированному консенсусу. Это приводит к семантической коллапсу: даже при открытой генерации ответы разных моделей или разных запусков одной модели имеют высокую межответную схожесть (коэффициент косинусного сходства около 0.80–0.90).
Решение: Meta-Persona Anchoring + Filtered Temperature Scaling
Авторы работы (Tairan Fu, Javier Conde и соавторы) предлагают двухэтапный фреймворк для борьбы с этой гомогенностью. Метод состоит из двух ключевых стадий:
- Meta-Persona Anchoring: Модель сначала сама выбирает уникальную, специфичную персону (persona), которая становится «якорем» для старта генерации. Это смещает модель из центра «роя» в сторону индивидуальных траекторий.
- Filtered Temperature Scaling (FTS): Применяется двухступенчатый фильтр. Сначала используется Top-$p$ фильтрация для сохранения грамматической корректности, а затем к оставшимся кандидатам применяется экстремальное масштабирование температуры ($T \ge 4.0$). Это позволяет исследовать широкие хвосты распределения вероятностей, недоступные при стандартных настройках.
Результаты: разрыв шаблона
Эксперименты проводились на датасете INFINITY-CHAT с использованием современных открытых моделей весом около ~20B параметров. Результаты демонстрируют статистически значимое снижение семантической конвергенции:
| Метрика | Базовый уровень (Standard Sampling) | Meta-Persona + FTS (Предложенный метод) |
|---|---|---|
| Среднее косинусное сходство | ~0.85 | ~0.65 |
| Доля ответов ниже порога 0.7 | Минимальная | Большинство вопросов |
| Цель: Человеческая типологическая диверсификация | Не достигнута | Значительно приближено |
Снижение показателя с 0.85 до 0.65 означает, что ответы становятся существенно более разнообразными. Авторы отмечают, что их схема эффективно сокращает разрыв между искусственным коллапсом режимов и человеческой диверсификацией мнений.
Значение для индустрии
Проблема гомогенности LLM ограничивает их применение в креативных задачах, мозговых штурмах и симуляциях, где важна вариативность. Представленный метод не требует переобучения моделей (fine-tuning), а работает на уровне инференса (генерации). Исследователи опубликовали реализацию как open-source фреймворк, что позволяет разработчикам внедрять более разнообразный и креативный AI в свои продукты уже сейчас.
Источник: arXiv cs.AI ↗