Быстрые решения вместо тяжелых вызовов
Агентные системы (Agent Harnesses) тратят ресурсы на множество мелких решений: выбор модели, инструмента, оценка релевантности RAG или обнаружение инъекций. System-1 модели (быстрые классификаторы) призваны решать эти задачи за один проход, экономя время и деньги по сравнению с вызовами больших языковых моделей (LLM). В исследовании arXiv:2610.02267 автор Jiawei Li провел парное сравнение двух таких моделей: открытой Laya и хостинговой Jev.
Сравнение точности: Jev доминирует
Тестирование проводилось на 11 точках принятия решений, используя 7 283 базовых кейсов и 6 640 вариантов на устойчивость (robustness). Вводные данные были идентичны, тесты воспроизводимы на разном оборудовании. Результаты показали явное преимущество Jev в большинстве сценариев, особенно в задачах с уникальным правильным ответом.
| Метрика / Сценарий | Jev (Hosted) | Laya (Open-weight) | Комментарий |
|---|---|---|---|
| Точность (9 из 11 точек) | Выше на +10.8...+46.0 pp | Ниже | Jev стабильнее в сложных задачах |
| Устойчивость к 50 инструментам | 98% (уникальный выбор) | 31% | Laya «тонет» в списке кандидатов |
| Чувствительность к порядку | Низкая | 30% ответов меняются | Laya зависит от порядка опций |
| Zero-shot маршрутизация | На уровне случайного выбора | На уровне случайного выбора | Обе модели не справляются без дообучения |
| RAG релевантность | Ничья | Ничья | Обе модели равны в оценке текста |
Самоаудит: где потерялись деньги?
Самое важное открытие исследования — не в сравнении моделей, а в разоблачении ошибок в собственных метриках эффективности. Авторы провели аудит своего пайплайна и выявили четыре критических искажения, которые завышали пользу от внедрения System-1 моделей:
- Скрытая стоимость пре-скрининга: Заявленная экономия составила 23.9%, но с учетом затрат на саму проверку она упала до реальных 4.3%.
- Подмена метрик: Точность гейта (58%) была представлена как качество всей системы, хотя реальное качество составило 98% (или наоборот, в зависимости от контекста ошибки, что привело к неверным выводам о надежности).
- Пороговые значения: Установленный в выборке порог в 5% привел к пропуску 17% тестов на отложенной выборке (held-out).
- Эффект канала: Ложные срабатывания на инъекции исчезали, если контент был «родным» для канала, что ставит под сомнение универсальность защиты.
Вывод для индустрии
Использование быстрых моделей-кандидатов (System-1) для маршрутизации агентов действительно работает, особенно если выбирать Jev вместо Laya. Однако разработчикам следует быть осторожными с метриками: экономия на вызовах LLM часто нивелируется затратами на саму классификацию, а «слепые зоны» (например, zero-shot маршрутизация) требуют тщательной настройки, а не просто замены модели.
Источник: arXiv cs.AI ↗