Проблема разрыва между намерением и действием
Большие языковые модели (LLM) часто ошибаются не из-за неверных выводов, а из-за технических сбоев при взаимодействии с инструментами. Авторы работы EvoX (Haoyang Zhang, Qumeng Sun и др.) отмечают, что правдоподобные решения модели не всегда приводят к успеху из-за несовпадений вызовов инструментов, прерванных рабочих процессов и ложных заявлений о завершении задач.
Решение — EvoX — это среда выполнения на языке Rust, которая рассматривает «агентный каркас» (agent harness) не как пассивную оболочку, а как операционную политику (Operational Policy). Она дополняет семантическую политику самой модели, обеспечивая детерминированный контроль на уровне выполнения.
Три механизма надежности
EvoX реализует три ключевых механизма для стабилизации работы агентов:
- Action Realization: точная реализация действий, исключая искажения в вызовах API.
- Execution Continuity: обеспечение непрерывности выполнения, предотвращение прерывания сложных рабочих процессов.
- Outcome Grounding: привязка результатов к фактическим данным, отсеивая галлюцинации о завершении задач.
Метрики и сравнение с конкурентами
Для объективной оценки авторы разработали фреймворк Contrast, который обеспечивает прозрачное и справедливое сравнение без подавления нативных возможностей моделей. Тестирование проводилось на 5 бенчмарках, 6 базовых моделях и 6 агентных каркасах.
Результаты показывают, что EvoX достигает максимальной числовой успешности 56,2% на 691 паре «задача-модель». Это превышает средний показатель других пяти протестированных каркасов примерно на 3,0 процентных пункта.
| Модель | Прирост точности EvoX | Примечание |
|---|---|---|
| GLM-5.3 | +10.7 п.п. | Наибольшая эффективность |
| Kimi K3 | +7.9 п.п. | Значительный прирост |
| Среднее по всем | +3.0 п.п. | Стабильное преимущество |
Почему это важно
Главное достижение EvoX — стабильные результаты достигнуты без использования памяти, эволюционных механизмов или внешних расширений. Это доказывает, что уровень операционного контроля (harness-level) критически важен для реализации потенциала базовых моделей. Архитектура на Rust обеспечивает кросс-провайдерную адаптивность, что делает EvoX конкурентоспособным решением для промышленного внедрения LLM-агентов.
Источник: arXiv cs.AI ↗
