Суть эксперимента: три верных ответа, один выбор
Авторы исследования (star2vec, LessWrong, октябрь 2026) протестировали семейство моделей Qwen 2.5 Instruct (размеры 1.5B, 3B и 7B, квантование 4-bit) на классическом парадоксе Бертрама. Задача звучит так: «Какова вероятность, что случайная хорда окружности длиннее стороны вписанного равностороннего треугольника?». В зависимости от метода выбора хорды (через центральный угол, через расстояние до центра или через случайные точки на окружности) ответ может быть 1/3, 1/2 или 1/4. Все три варианта математически корректны, но модель должна выбрать только один.
Ключевые метрики и результаты
Было проанализировано 761 ответ, где модели выдали один из трех классических результатов. Важнейшие выводы:
- Игнорирование неоднозначности: 0 из 761 ответов не упомянули, что задача имеет несколько решений. Модели подавали свой выбор как единственно верный факт.
- Распознавание намерения: Выбор метода становится различимым в активациях модели за 5–10 токенов до ключевого слова (например, перед упоминанием «центральный угол»). За 30 токенов до этого момента пробы не давали дополнительной информации сверх контекста.
- Влияние размера модели: Для модели 7B формулировка вопроса (наличие радиуса, порядок слов) влияет на итоговый ответ. Для 1.5B и 3B распределение ответов остается стабильным независимо от фразировки.
Таблица: Сравнение поведения моделей Qwen 2.5
| Параметр | Qwen 2.5 1.5B | Qwen 2.5 3B | Qwen 2.5 7B |
|---|---|---|---|
| Доля ответов с объяснением метода | — (низкая надежность) | 55% | 85% |
| Частота упоминания ответа 1/3 | — | 75% (из тех, что выбрали 1/3) | 22% (из тех, что выбрали 1/3) |
| Влияние фразировки на ответ | Нет (распределение стабильно) | Нет (распределение стабильно) | Да (фразировка «подталкивает» к числу) |
| Точность при заданном методе | 25% (недоверие к выводам) | Высокая | Высокая |
Почему это важно для индустрии
Результаты демонстрируют, что современные LLM не «рассуждают» о парадоксах в человеческом понимании, а скорее воспроизводят паттерны из обучающих данных. Модель 7B демонстрирует более сложную связь между контекстом (фразировкой) и выводом, что может быть как преимуществом (гибкость), так и риском (податливость к наводящим вопросам). Для разработчиков систем интерпретируемости (XAI) важно, что намерение модели можно детектировать по активациям за несколько шагов до генерации текста, что открывает пути для раннего вмешательства или валидации логики.
Источник: LessWrong ↗