Проблема «черного ящика» в оценке
Традиционные бенчмарки (MMLU, GSM8K и др.) показывают лишь итоговый балл модели, не раскрывая механизм достижения результата. Высокий счет может быть достигнут как за счет глубокого логического вывода, так и за счет простого извлечения фактов из памяти. Исследование, принятое к публикации в Transactions of the Association for Computational Linguistics (TACL), предлагает новый подход: анализировать не только ответ, но и то, как модель к нему пришла.
Методология: три уровня сигналов
Авторы разработали фреймворк, который отслеживает обработку информации на трех уровнях:
- Attention-сигналы: куда модель «смотрит» при генерации ответа.
- Activation-сигналы: активность нейронов в скрытых слоях.
- Representation-меры: векторные представления токенов.
Эти данные позволяют классифицировать задачи по спектру от «поиск знаний» (retrieval-dominant) до «сложное рассуждение» (reasoning-dominant).
Результаты анализа 16 моделей
Команда протестировала 16 крупных языковых моделей на 24 различных бенчмарках. Анализ выявил системные различия в обработке данных. Например, в задачах на знание (факты, даты, имена) доминирует паттерн прямого извлечения, тогда как в логических задачах наблюдается активация цепочек рассуждений.
| Тип задачи | Примеры бенчмарков | Характер обработки (Internal Processing) |
|---|---|---|
| Knowledge-centric | TriviaQA, Natural Questions | Высокая активность в слоях, связанных с фактической памятью; низкая сложность цепочки. |
| Reasoning-centric | GSM8K, ARC-Challenge | Распределенная активность по глубоким слоям; наличие явных шагов дедукции. |
| Hybrid | HotpotQA | Смешанный паттерн: требует и поиска, и синтеза информации. |
Почему это важно для индустрии
Этот метод позволяет выявлять скрытые ошибки (failure modes), которые не видны при обычном тестировании. Если модель показывает высокий балл, но использует «ленивые» паттерны извлечения, это может привести к провалам в новых, более сложных сценариях. Фреймворк помогает разработчикам выбирать более подходящие модели для конкретных задач, опираясь на их внутреннюю архитектуру обработки, а не только на внешние метрики.
Открытый код
Авторы опубликовали код для воспроизведения результатов, что открывает путь для создания новых инструментов отладки LLM. Исследование переводит фокус с вопроса «Какой балл набрала модель?» на вопрос «Как модель думает?».
Источник: arXiv cs.CL ↗
