Суть проблемы: от «кто дал нож» до «где мяч»
Команда Allen Institute for AI (AI2) выпустила StateBench — специализированный бенчмарк для оценки способности языковых моделей отслеживать изменения состояния сущностей в длинных контекстах. Это не просто тест на чтение, а проверка на способность поддерживать «память» о том, как меняются объекты или переменные по мере чтения текста.
Простой пример: если в тексте сказано «Джон дал Мэри нож», модель должна помнить, что нож теперь у Мэри. Сложный пример: если Джон положил нож в рюкзак, а затем передал рюкзак Эдварду, модель должна проследить цепочку перемещений. Ошибка на любом шаге делает финальный ответ неверным.
4 уровня сложности: от неизменных переменных до алгебры
StateBench структурирован по возрастанию сложности, что позволяет изолировать архитектурные ограничения моделей. Уровни соответствуют типам операций присваивания в программировании и теоретической алгебре (теория Кройна-Роудса):
| Уровень | Описание | Аналогия в коде | Сложность |
|---|---|---|---|
| R-trivial | Неизменяемое присваивание. Значение не меняется. | let x = 4; |
Низкая |
| Aperiodic | Перезапись по значению. Нужно найти последнее значение. | x = 4; ... x = 2; |
Средняя |
| Soluble | Самореференциальные обновления. Новое значение зависит от старого. | x = x + 5; |
Высокая |
| General Finite | Присваивание по ссылке. Зависимости между переменными (перестановки). | x = y; или обмен местами |
Максимальная |
Результаты: Топовые модели ломаются на длинных контекстах
Исследователи протестировали как открытые модели, так и флагманы индустрии. Ключевой вывод: архитектура Transformer имеет теоретические ограничения на сложных уровнях отслеживания состояния, особенно при увеличении длины входных данных.
Флагманы (Frontier Models)
Модели Gemini 3.8 Flash, Claude Opus 5.5 и GPT-6 (Sol/Luna) отлично справлялись с простыми задачами (R-trivial и Aperiodic). Однако на уровнях Soluble и General Finite точность резко падала с ростом длины текста. На самых длинных последовательностях (General Finite) точность падала до 13% и ниже.
Открытые модели и обучение «с нуля»
При тестировании предварительно обученных моделей (Olmo 3, Olmo Hybrid) было замечено, что гибридные архитектуры (с добавлением Gated DeltaNet) показывают лучшие результаты на сложных задачах, чем чистые трансформеры. Но главное открытие сделано при целевом обучении моделей с нуля на задачах StateBench:
- Gated DeltaNet и гибридные модели обобщили знания почти идеально на всех уровнях сложности, даже при длине последовательности до 64 000 шагов (в 250 раз больше длины обучения).
- Трансформеры научились решать простые задачи, но их производительность деградировала на длинных последовательностях, так и не достигнув идеала на сложных уровнях.
Почему это важно?
StateBench доказывает, что проблема «потери нити повествования» в длинных документах — это не просто недостаток данных для дообучения, а фундаментальное ограничение архитектуры Transformer. Для приложений, требующих анализа длинных кодовых баз, юридических документов или сложных сюжетных линий, где критически важно отслеживать изменения состояния объектов, гибридные архитектуры (как Gated DeltaNet) могут стать более надежным выбором, чем классические трансформеры.
Источник: Hugging Face blog ↗