Проблема «чистых» LLM
Традиционные большие языковые модели (LLM) часто страдают от отсутствия истинного понимания вероятностной неопределенности. Они генерируют текст, но не всегда способны эффективно собирать информацию или корректировать гипотезы на основе новых данных. Классические байесовские модели, напротив, точны, но требуют огромных вычислительных ресурсов и не масштабируются на сложные концепции.
Решение: Probabilistic Reasoning over Language and Code
Авторы статьи (Wasu Top Piriyakulkij, Sam Acquaviva, Cassidy Langenfeld, Joshua Tenenbaum, Kevin Ellis) предлагают гибридный подход. Суть метода заключается в том, чтобы:
- Представлять абстрактные знания в виде «ментальных программ» — комбинации естественного языка и исходного кода.
- Использовать LLM в качестве «нижнего уровня» (bottom-up neural mechanism) для генерации гипотез и обеспечения вычислительной осуществимости.
- Применять байесовские алгоритмы для последовательного обновления этих программ, имитируя процесс человеческого обучения.
Ключевые метрики и результаты
Модель успешно воспроизвела количественные сигнатуры человеческого поведения в поведенческих исследованиях. В отличие от чистых LLM, которые либо терпят неудачу, либо требуют экстремальных затрат вычислений, новый подход демонстрирует эффективность как в сборе данных, так и в индукции.
| Характеристика | Чистые LLM | Классические байесовские модели | Гибридная модель (LLM + Code) |
|---|---|---|---|
| Эффективность данных | Низкая | Высокая | Высокая |
| Учет неопределенности | Слабый | Точный | Точный (через вероятностный вывод) |
| Гибкость репрезентации | Высокая | Низкая | Высокая (язык + код) |
| Воспроизведение эффектов (якорение, garden-pathing) | Не всегда | Не всегда | Успешно |
Почему это важно
Это исследование закрывает важный разрыв между нейросетевым распознаванием паттернов и символьным логическим выводом. Оно показывает, что для создания ИИ, способного к «активному исследованию» (active inquiry) и обучению на малых данных, необходимо не просто увеличивать размер модели, а внедрять в нее механизмы вероятностного обновления гипотез, используя LLM как инструмент генерации идей, а не как конечный источник истины.
Источник: arXiv cs.AI ↗