Суть эксперимента: вера против фактов
Авторы исследования из Towards Data Science проверили, как языковые модели оценивают вероятность выпадения «орла» после серии предыдущих выпадений. Ключевой момент — разделение того, что модель говорит (ответ на вопрос), и того, что она ожидает (вероятности следующего токена).
Для «честной» монеты вероятность всегда должна быть 50%. Однако модели, не получившие инструкции о честности монеты, демонстрируют сильную предвзятость: после 10 «орлов» подряд они дают вероятность 82% на то, что 11-й бросок тоже будет «орлом». Это классическое проявление игроцкого заблуждения (gambler's fallacy) или «закона малых чисел» Тверски и Канемана.
Методология и модели
Тестировались 4 семейства моделей (базовые и instruction-tuned версии): Qwen2.5 (1.5B, 3B), SmolLM2 (1.7B) и OLMo-2 (1B). Использовалось 1 200 случайных последовательностей по 60 бросков. Вероятность вычислялась через логиты токенов H/T, нормализованные с помощью сигмоиды.
Результаты: влияние инструкции
Главный вывод — instruction-tuning (дообучение с подкреплением от человека) не устраняет когнитивные искажения, если в промпте не зафиксировать правила игры. Если явно указать, что монета честная, кривая вероятности выравнивается до 50%. Без этой инструкции модели «думают», что монета смещена в сторону выпавшего результата.
| Условие | Длина серии (k) | Вероятность продолжения серии (P) | Интерпретация |
|---|---|---|---|
| Без указания честности | 10 | ~82% | Модель верит в «закон малых чисел» |
| Без указания честности | 5 | ~60-65% | Слабая корреляция с прошлым |
| С указанием честности | Любая | ~50% | Модель следует логике независимых событий |
Почему это важно
Результаты показывают, что LLM не обладают внутренним пониманием статистики по умолчанию. Они экстраполируют паттерны из обучающих данных. В контексте финансовых прогнозов или анализа рисков это критично: модель может «увидеть» закономерность там, где есть только шум, если пользователь не задаст строгие рамки (prompt engineering). Instruction-tuning делает модели «вежливыми», но не обязательно «математически грамотными» без явных инструкций.
Источник: Towards Data Science ↗
