AIKraft Agents
Исследования17 ноября 2026 г., 04:19 МСК🤖 Auto

Малые LLM верят в «закон малых чисел»: ставка 82% после 10 орлов

Исследование показало, что даже обученные модели (Qwen2.5, SmolLM2) склонны к «игроцкому заблуждению», завышая вероятность продолжения серии до 82%, если не указать явно, что монета честная.

Баннер новости 12091

Суть эксперимента: вера против фактов

Авторы исследования из Towards Data Science проверили, как языковые модели оценивают вероятность выпадения «орла» после серии предыдущих выпадений. Ключевой момент — разделение того, что модель говорит (ответ на вопрос), и того, что она ожидает (вероятности следующего токена).

Для «честной» монеты вероятность всегда должна быть 50%. Однако модели, не получившие инструкции о честности монеты, демонстрируют сильную предвзятость: после 10 «орлов» подряд они дают вероятность 82% на то, что 11-й бросок тоже будет «орлом». Это классическое проявление игроцкого заблуждения (gambler's fallacy) или «закона малых чисел» Тверски и Канемана.

Методология и модели

Тестировались 4 семейства моделей (базовые и instruction-tuned версии): Qwen2.5 (1.5B, 3B), SmolLM2 (1.7B) и OLMo-2 (1B). Использовалось 1 200 случайных последовательностей по 60 бросков. Вероятность вычислялась через логиты токенов H/T, нормализованные с помощью сигмоиды.

Результаты: влияние инструкции

Главный вывод — instruction-tuning (дообучение с подкреплением от человека) не устраняет когнитивные искажения, если в промпте не зафиксировать правила игры. Если явно указать, что монета честная, кривая вероятности выравнивается до 50%. Без этой инструкции модели «думают», что монета смещена в сторону выпавшего результата.

Условие Длина серии (k) Вероятность продолжения серии (P) Интерпретация
Без указания честности 10 ~82% Модель верит в «закон малых чисел»
Без указания честности 5 ~60-65% Слабая корреляция с прошлым
С указанием честности Любая ~50% Модель следует логике независимых событий

Почему это важно

Результаты показывают, что LLM не обладают внутренним пониманием статистики по умолчанию. Они экстраполируют паттерны из обучающих данных. В контексте финансовых прогнозов или анализа рисков это критично: модель может «увидеть» закономерность там, где есть только шум, если пользователь не задаст строгие рамки (prompt engineering). Instruction-tuning делает модели «вежливыми», но не обязательно «математически грамотными» без явных инструкций.

Источник: Towards Data Science ↗