Проблема насыщения бенчмарков
В условиях ускоренного развития ИИ традиционные тесты, калиброванные на людях или современных моделях, быстро теряют смысл. Они становятся «циркулярными» — модели просто заучивают ответы, а сложность тестов не растет синхронно с прогрессом. Возникает вопрос: как оценивать машины, которые станут умнее и создателей, и самих тестов?
Теоретическая основа: Kt Левина
Решение предложено через задачу обратного вывода (inverse problems). Сложность задачи зависит от сложности лежащего в ее основе механизма. В качестве меры сложности используется Kt Левина — вычислимый вариант сложности Колмогорова. Он балансирует простоту представления механизма и логарифм времени его выполнения. Это дает теоретическую верхнюю границу сложности, которую можно измерить в битах.
LLM как универсальные машины Тьюринга
Ключевое отличие новой работы от оригинального C-test заключается в «референсной машине». Если старые тесты использовали минималистичные машины Тьюринга без знаний, то новые LLM-Referenced C-test используют большие языковые модели как машины представления. LLM выступают как универсальные машины Тьюринга, содержащие компиляцию человеческой культуры, а промпты — как программы на естественном языке.
Результаты тестирования 12 моделей
Авторы разработали легкий конвейер генерации и сертификации элементов теста. Была создана батарея сертифицированных заданий, которые были протестированы на 12 различных LLM. Результаты показали, что кривые характеристик агентов (agent characteristic curves) снижаются по мере роста сложности, достигая «неизведанной» области высокой сложности — окна supraintelligence, где элементы сертифицированы, но недоступны для генераций современных передовых моделей.
| Параметр | Оригинальный C-test | LLM-Referenced C-test (новая работа) |
|---|---|---|
| Референсная машина | Минималистичная UTM | LLM (с накопленными знаниями) |
| База знаний | Отсутствует | Компиляция человеческой культуры |
| Масштабируемость | Ограничена сложностью UTM | Высокая (генерация элементов по мере роста сложности) |
| Целевая аудитория тестирования | Современные AI и люди | Supraintelligence (будущие модели) |
Значение для индустрии
Работа предлагает первый формализованный способ создания тестов, которые не насыщаются со временем. Возможность генерировать элементы с высокой сложностью, измеримой в битах, открывает путь к объективной оценке ИИ, который превзойдет человеческий интеллект, без риска «загаживания» тестовых данных.
Источник: arXiv cs.AI ↗