Проблема избыточной генерации
Использование больших языковых моделей (LLM) для простых бинарных или категориальных решений (например, выбор маршрута поддержки или инструмента) часто неэффективно. Стандартный подход требует от модели сгенерировать JSON-строку, которую затем нужно распарсить. Это добавляет вычислительную нагрузку и задержку там, где достаточно просто оценить доступные варианты.
Авторы исследования представили альтернативу — Jev-style модели. Они не генерируют текст ответа, а напрямую вычисляют оценки (scores) для предоставленных кандидатов и возвращают типизированное решение. Это устраняет этап парсинга и снижает латентность.
Методология и бенчмарки
Сравнение проводилось на датасете BANKING77 (короткие запросы в банковской сфере). Были протестированы 7 открытых проектов Jev-архитектуры и базовая линия на базе Qwen3-0.6B (генерация JSON). Тесты делились на два сценария:
- Fixed routes (Фиксированные маршруты): Меню из 8 вариантов неизменно для всех запросов.
- Changing candidates (Динамические кандидаты): Для каждого запроса формируется уникальное меню из 4 вариантов (1 правильный + 3 отвлекающих), порядок которых рандомизирован.
Результаты: Точность и Скорость
Модели-скореры (Kev, Verdict, Laya, NanoJev) показали значительное преимущество в точности, особенно в условиях динамического изменения списка кандидатов, где LLM часто «терялась» в формате вывода.
| Модель / Подход | Точность (Fixed Routes) | Точность (Changing Candidates) | Медианная задержка (Latency) | Генерация токенов |
|---|---|---|---|---|
| Kev (Trained Scorer) | 98% | 98% | 125–130 мс | 0 |
| Verdict (Trained Scorer) | 86.5% | 89% | 17–18 мс | 0 |
| Qwen3-0.6B (JSON Gen Baseline) | 83% | 66% | 331–357 мс | ~10 токенов/запрос |
Ключевой вывод: Verdict показал рекордно низкую задержку (17–18 мс), а Kev достиг максимальной точности (98%) в обоих сценариях. Базовая LLM-модель провалилась в динамическом сценарии, опустившись до 66% точности, вероятно, из-за ошибок в формировании JSON-структуры при изменении контекста.
Архитектурные группы решений
Исследование классифицирует 7 открытых проектов на три группы, что помогает выбрать решение под конкретные задачи:
- Trained scorers (Обученные скореры): Kev, Verdict, Laya, NanoJev. Имеют собственные модели, напрямую оценивающие варианты. Показали наилучшие результаты.
- Training-free readouts (Без обучения): AnyJev, Simple Jev. Извлекают оценки из выходов LLM без дообучения. Удобны для быстрого старта.
- Serving layers (Слой обслуживания): OpenJev. Предоставляют единый интерфейс для различных бэкендов, абстрагируя сложность интеграции.
Почему это важно для AI-агентов
Для систем, где агенты должны выбирать инструменты (tool selection) или маршрутизировать запросы, Jev-модели предлагают детерминированный и быстрый путь. Отказ от генерации текста означает:
- Отсутствие ошибок парсинга JSON.
- Снижение стоимости inference (нет затрат на генерацию токенов).
- Возможность динамически менять список доступных действий (candidates) без переобучения модели под новые классы.
Исследование подтверждает, что для bounded choices (ограниченных выборов) специализированные модели принятия решений превосходят универсальные LLM по скорости и надежности.
Источник: Towards Data Science ↗