Проблема существующих метрик
Традиционные оценки математических способностей LLM фокусируются исключительно на правильности итогового ответа в текстовом формате. Это скрывает реальные проблемы: ненадежность промежуточных шагов рассуждения, уязвимость к мультимодальным данным (изображения, аудио) и отсутствие устойчивости к ошибкам. Для образовательных приложений, где важна верифицируемость процесса, этого недостаточно.
Что такое MAMath-Bench
Авторы (Xinping Wang, Jie Ma и др.) разработали датасет MAMath-Bench, состоящий из 1 003 задач. Бенчмарк охватывает 11 математических категорий, несколько уровней сложности и три модальности: текст, изображения и аудио. Ключевая особенность — наличие детальных аннотаций «контрольных точек» (milestones), позволяющих оценивать систему по трем измерениям:
- Правильность решения задачи;
- Надежность процесса рассуждения;
- Устойчивость к адверсариальным возмущениям в цепочке рассуждений.
Ключевые результаты тестирования
Эксперименты показали неожиданные результаты, ставящие под сомнение слепое доверие к мультиагентным системам (MAS). В то время как коллаборация агентов улучшает покрытие промежуточных шагов, она не гарантирует лучшей точности ответа и часто приводит к избыточности рассуждений.
| Метрика оценки | Наблюдение | Значение для индустрии |
|---|---|---|
| Точность ответа | Мультиагентные системы не всегда превосходят сильные одиночные LLM | Сложные архитектуры MAS могут быть избыточны для простых задач |
| Надежность процесса | Коллаборация улучшает охват шагов, но увеличивает избыточность | Риск «шума» в логике решения возрастает с числом агентов |
| Устойчивость | Системы уязвимы к структурным возмущениям в цепочке | Текущие модели легко сбить с толку незначительными изменениями в логике |
Почему это важно
Результаты MAMath-Bench сигнализируют о том, что текущие подходы к построению мультиагентных систем для сложных когнитивных задач требуют пересмотра. Простое добавление агентов-верификаторов не решает проблему надежности. Для создания надежных образовательных AI-ассистентов необходимо фокусироваться не только на финальном ответе, но и на устойчивости самого процесса логического вывода к ошибкам и мультимодальным искажениям.
Источник: arXiv cs.AI ↗