01Что такое галлюцинации в LLM?
Галлюцинации в больших языковых моделях (LLM) не являются проблемой качества данных или обучения. Это структурная особенность, связанная с тем, для чего эти системы оптимизированы. Многие исследователи хотели бы видеть это иначе, но факты говорят о другом.
Геометрия внутренних представлений
Для понимания сути галлюцинаций необходимо взглянуть на геометрию внутренних представлений модели. Представьте, что внутреннее состояние модели на каждом слое — это точка в высокомерном пространстве. Когда модель обрабатывает запрос, точка движется, формируя траекторию. Вопрос в том, различаются ли эти траектории, когда модель дает правильный или ошибочный ответ?
Исследование показало, что длина этих траекторий одинакова, но они ведут в разные точки. Это говорит о том, что модель знает правильный ответ, но выбирает другое направление.
02Показатель приверженности
Введен новый показатель — показатель приверженности (κ), отражающий, насколько сильно модель направляет вероятностную массу к правильному токену или от него на каждом слое. В случае правильно обработанных запросов κ возрастает, а при галлюцинациях — резко падает, что показывает активное отклонение от правильного ответа.
Три режима поведения моделей
Исследование выделило три кластера моделей по их поведению при галлюцинациях:
- Модели с 1B параметров: начало перераспределения внимания, неполное подавление.
- Модели с 1.6B–3B параметров: среднее подавление.
- Gemma 2 2B, сопоставимая с более крупными моделями по глубине подавления, несмотря на меньшее количество параметров.
Это указывает на то, что архитектурные решения влияют на глубину подавления независимо от масштаба модели.
03Выявление и значение галлюцинаций
Для выявления галлюцинаций можно использовать геометрические сигнатуры, но они требуют калибровки для каждого домена, поскольку универсальное решение не поддерживается доказательствами.
Галлюцинации — не ошибка, а следствие архитектурных особенностей моделей. Даже при улучшении мониторинга и настройки, базовое напряжение между контекстной предсказуемостью и фактической точностью остается.
Почему это важно?
Понимание геометрии ошибок LLM позволяет разрабатывать более совершенные архитектуры. Это исследование показывает, что текущие модели не могут полностью решить проблему галлюцинаций без изменений в архитектуре, которые позволят моделям представлять мир на основе чего-то другого, кроме токенной соокуррентности.
Этот шаг необходим для создания более надежных и точных систем искусственного интеллекта в будущем.