Суть метода: метрика Beeline
Исследование ставит перед моделями задачу выбора следующего действия в заданной предметной области (например, «мир блоков» или головоломка Rush Hour). Цель — решить проблему за минимальное число шагов. Ключевой показатель — beeline score, рассчитываемый по формуле:
score = (shortest path + 1) / nodes explored with the model
Идеальный результат равен 1, что означает прохождение задачи без лишних ходов. Тестирование проводилось на 100 испытаниях для каждой предметной области с расчётом 95% доверительных интервалов методом бутстрапа.
Результаты: кто лидирует?
В четырёх из семи протестированных доменов модели-решатели (decision models) смогли превзойти базовый эвристический алгоритм. Все протестированные модели уверенно обходили случайный выбор. Особое внимание привлёк разрыв в сложности задач: Rush Hour оказался самой трудной задачей, тогда как модели хорошо справились с Wikispeedia и Keys and Doors.
Лидеры производительности
На «фронтире» эффективности, то есть среди лучших результатов, стабильно фигурируют следующие модели:
| Модель | Статус в бенчмарке | Примечания |
|---|---|---|
| Mercury Decide | Лидер | Часто входит в число лучших решений |
| pplx-decider 1.0 | Лидер | Высокая эффективность в планировании |
| Jev | Участник | Ограничение: до 255 вариантов выбора |
| GPT-6 Luna | С ограничениями | Высокий процент отказов от ответа |
Критические ограничения и проблемы
Авторы отмечают, что результаты сильно зависят от текстового представления задачи. Модели чувствительны к формулировкам, поэтому выбор «естественного» описания был сделан в ущерб тонкой настройке под конкретные модели. Также выявлены специфические проблемы:
- GPT-6 Luna: демонстрирует высокий процент отказов (refusal rate), когда следующий шаг неочевиден, что искажает итоговый счёт.
- Jev: имеет техническое ограничение в 255 опций на решение. Для справедливости сравнения опции случайным образом отбрасывались, что можно считать handicap (преимуществом для других моделей).
Что дальше?
BeelineBench — это воспроизводимый инструмент с поддержкой Docker и PyPi, позволяющий добавлять новые модели и задачи. Авторы планируют расширить список доменов и моделей, призывая сообщество поддержать проект через GitHub, так как стоимость вычислений является значимым фактором.
Источник: LessWrong ↗