Суть метода: От слов к векторам
Команда исследователей (Virginia Ceccatelli, Xiaoyu Liang, Tobias Braun) разработала метод U-lens, который позволяет «читать» неопределенность больших языковых моделей (LLM) напрямую из их внутренних состояний. В отличие от традиционных методов, опирающихся на вероятность токенов или самоотчеты модели, U-lens использует J-lens для проецирования скрытых состояний (hidden states) в семантическое пространство.
Авторы выделяют четыре ортогональных направления в пространстве модели, образующих U-space:
- Ambiguity (двусмысленность): неясность формулировки или контекста.
- Incompleteness (неполнота): отсутствие достаточной информации для ответа.
- Conflicting evidence (противоречивые доказательства): наличие данных, указывающих на разные исходы.
- General uncertainty (общая неопределенность): фоновый уровень сомнений.
Результаты бенчмарков и сравнение
Метод был протестирован на трех моделях с функцией рассуждения (reasoning models) и четырех бенчмарках. Ключевое преимущество U-lens — он работает без меток (label-free) и требует всего одного прямого прохода (single forward pass), в то время как многие аналоги требуют дообучения или множественных запусков.
U-lens превзошел 12 существующих методов оценки неопределенности. Особое внимание уделено устранению «ловушки длины»: часто длинные цепочки рассуждений коррелируют с ошибками. Авторы сравнили ответы одинаковой длины, и U-lens сохранил высокую точность разделения правильных и неправильных ответов.
| Метрика / Характеристика | U-lens (предложенный метод) | Традиционные методы (Baseline) |
|---|---|---|
| Требование к данным | Label-free (без размеченных данных) | Часто требуют дообучения или разметки |
| Вычислительная сложность | 1 прямой проход (single forward pass) | Множественные проходы или ансамбли |
| Устойчивость к длине ответа | Высокая (проверено на равных длинах) | Чувствительны к длине цепочки рассуждений |
| Интерпретируемость | Высокая (четкие семантические направления) | Низкая (черный ящик или энтропия) |
Почему это важно для индустрии
Результаты исследования закрывают важный пробел в безопасности AI. Модель часто выдает правдоподобный, но ошибочный ответ (галлюцинацию), не выражая сомнений. U-lens позволяет обнаруживать такие случаи на этапе генерации, анализируя «внутренний монолог» модели. Кроме того, ранние тесты показали, что аналогичный подход может использоваться для выявления эмоций и обнаружения reward-hacking (манипуляций с системой вознаграждения), что открывает путь к созданию более надежных систем мониторинга поведения AI.
Код метода уже открыт в репозитории S2lab, что позволяет сообществу проверить воспроизводимость результатов на трех различных seed-значениях.
Источник: LessWrong ↗