Суть эксперимента: 5500 партий и 10 моделей
Исследователь Bicuspid Valve провел масштабный тест на базе игры «Carrot-Parsnip» (Морковь-Пастернак) — упрощенной социальной дедукции для трех игроков. В отличие от предыдущих версий с 5 игроками, новая версия с 3 участниками позволила снизить стоимость вычислений до копеек за партию, сохранив баланс побед на уровне 50/50. В турнире участвовали 10 моделей от передовых (GPT-6 Sol, Claude Opus 5.5) до бюджетных (Deepseek v4 Flash, Grok 4.7). Всего было сыграно 5500 партий, из которых успешно завершены 5498.
Четыре параметра силы: не только «ум»
Авторы разработали четырехпараметрическую модель для оценки навыков LLM, разделяя способности «Морковки» (детекция обмана) и «Пастернака» (стратегическая ложь). Ключевое открытие: высокая способность к обману не коррелирует с умением его распознавать. Параметры включают:
- Judgement (α): Точность голосования за Пастернака.
- Influence (β): Умение убеждать напарника-Морковку голосовать правильно.
- Deception (φ): Эффективность снижения точности голосов Морковок.
- Divisiveness (κ): Способность раскалывать голосование Морковок, предотвращая координацию.
Лидеры и аутсайдеры: таблица результатов
Рейтинг составлен по общему проценту побед. Примечательно, что GPT-6 Sol демонстрирует выдающиеся результаты как обманщик, уступая Claude Opus 5.5 лишь в детекции. Бюджетные модели, такие как Deepseek v4 Flash, показывают конкурентоспособность, что делает бенчмарк масштабируемым.
| Модель | Роль: Морковка (Победы) | Роль: Пастернак (Победы) | Общий рейтинг |
|---|---|---|---|
| Claude Opus 5.5 | 61.1% | 73.3% | 65.4% |
| GPT-6 Sol | 54.6% | 79.2% | 63.3% |
| Gemini 3.8 Flash | 54.9% | 63.5% | 57.9% |
| Grok 4.7 | 52.2% | 64.7% | 56.6% |
| Deepseek v4 Flash | 50.5% | 58.2% | 54.3% |
Типичные ошибки: «Сохранение ожидаемого свидетельства»
Исследование выявило системную ошибку в рассуждениях LLM: модели склонны подозревать игрока, который первым открыто заявляет о своей роли «Морковки», считая это подозрительным поведением. Это связано с нарушением принципа «Conservation of Expected Evidence» — модели не учитывают, что честный игрок и лжец могут сказать схожие вещи. Проблема была частично решена добавлением в промпты инструкций о случайности порядка выступлений и необходимости оценивать гипотезы симметрично.
Почему это важно для индустрии
CarrotParsnipBench предлагает дешевый и быстрый способ мониторинга безопасности LLM. Поскольку игра требует минимум контекста и не нуждается в сложном стратегическом промптинге, она позволяет тестировать сотни новых моделей за разумные деньги. Авторы предполагают, что ELO-рейтинг в этой игре может стать прокси-метрикой для предсказания поведения моделей в более сложных социальных сценариях и многоагентных системах.
Источник: LessWrong ↗