Команда исследователей Яндекка (Алиса Аленичева, Тимур Зыков, Артем Саладуха, Владислав Негодин) опубликовала статью в Findings of EMNLP 2026, описывающую новый подход к оценке больших языковых моделей. Авторы критикуют существующие бенчмарки за статичность, одноходовость и англоцентричность, предлагая вместо этого динамичную среду тестирования — MTGBench.
Суть эксперимента: игры вместо скучных тестов
MTGBench состоит из семи многоходовых головоломок, которые проверяют различные когнитивные способности: дедукцию, семантическое мышление, латеральное решение задач, логику и извлечение знаний. Ключевое отличие — генерация эпизодов «нативно» для каждого языка, а не простой перевод, что исключает артефакты локализации.
Для оценки использовались 16 передовых моделей. Четыре игры имели алгоритмические чекеры (жесткие правила), а три — ограниченных LLM-судей, валидированных против человеческих аннотаторов. Всего было проведено 476 сессий с участием людей для создания базового уровня.
Ключевые результаты
Исследование показало, что рейтинги моделей сильно зависят от типа задачи. Самое важное открытие: лучшие модели с включенным Chain-of-Thought (CoT) в буквенных играх (Wordle, Word Chain) работают почти так же, как люди, а в задачах на знание — часто превосходят человеческий базовый уровень, собранный на русском языке.
Результаты коррелируют с когнитивными батареями, проверяющими причинно-следственные связи, прагматику, планирование и здравый смысл, но не сводятся к единому показателю «исполнительной функции».
Сравнение моделей в MTGBench
Ниже приведена структура тестовых задач, разделенных по типу проверки и требуемым навыкам:
| Название игры | Тип проверки | Проверяемая способность | Языковая специфика |
|---|---|---|---|
| Wordle | Алгоритмическая | Дедукция, работа с буквами | Нативная генерация (EN/RU) |
| Word Chain | Алгоритмическая | Семантическая память, ассоциации | Нативная генерация (EN/RU) |
| Situation Puzzles | LLM-судья (валидирован) | Латеральное мышление, дедукция | Нативная генерация (EN/RU) |
| 20 Questions | LLM-судья (валидирован) | Стратегическое планирование, знание | Нативная генерация (EN/RU) |
| Wheel of Fortune | Алгоритмическая | Дедукция, контекстное угадывание | Нативная генерация (EN/RU) |
| 20 Features | LLM-судья (валидирован) | Классификация, логика | Нативная генерация (EN/RU) |
| Alias | LLM-судья (валидирован) | Коммуникация, семантика | Нативная генерация (EN/RU) |
Почему это важно
MTGBench демонстрирует, что текущие метрики (часто основанные на LLM-as-a-judge) могут быть предвзятыми. Использование игр позволяет выявить реальные пробелы в рассуждениях моделей, особенно в неанглоязычных средах. Код и данные для воспроизведения эксперимента доступны на GitHub проекта.
Источник: Aclanthology ↗