Проблема масштабирования оценки AI
Автоматизированная оценка выходов клинического искусственного интеллекта критически важна, но традиционные подходы с использованием больших языковых моделей (LLM) в качестве «судей» сталкиваются с двумя серьезными барьерами: высокой стоимостью и низкой скоростью обработки. В исследовании, опубликованном 20 октября 2026 года, команда авторов во главе с Ротемом Гершоном (Rotem Gershon) предлагает альтернативу — Jev, специализированную модель принятия решений (Decision Language Model), которая выдает структурированные суждения.
Сравнение с флагманами: Jev против Claude и GPT
Эффективность Jev была протестирована на четырех различных сценариях использования, включая оценку педиатрических ответов и задач из бенчмарков HealthBench и MedHELM. Ключевым показателем стала корреляция с оценками врачей. Jev продемонстрировал результаты, сопоставимые или превышающие показатели семи из двенадцати LLM-судей, включая передовые модели.
| Метрика / Бенчмарк | Показатель Jev | Лучший LLM-судья (для сравнения) | Примечание |
|---|---|---|---|
| Педиатрические ответы (Gwet's AC2) | 0.50 | Claude Opus 5.5 (0.49) | Ожидаемый балл: 0.53. Jev превзошел GPT-6 (0.38). |
| HealthBench (бинарная оценка) | Сопоставим с лидерами | 4 из 6 LLM-судей | Jev совпал или превзошел 4 из 6 моделей. |
| MedHELM (открытые задачи) | Высокая согласованность | Трехмодельное жюри | Согласованность Jev с жюри из трех LLM превысила внутреннюю согласованность самого жюри. |
| HealthBench Professional | 91% критериев | GPT-5.4 (референс) | Другие судьи показали 91-93% совпадений. |
Экономическая эффективность и скорость
Главное преимущество Jev раскрывается в метриках эффективности. Использование передовых LLM-судей обходится в 73–294 раза дороже, чем использование Jev. Кроме того, время отклика фронтальных моделей превышает время работы Jev в 7–57 раз. Это делает Jev идеальным инструментом для массовой оценки клинического AI, где важны как бюджет, так и скорость итераций.
Значение для индустрии
Результаты исследования показывают, что специализированные модели принятия решений могут заменить ресурсоемкие LLM в задачах валидации клинических данных. Это открывает путь к эффективной оценке AI-систем в масштабах, ранее недоступных из-за ограничений по стоимости и вычислительным мощностям.
Источник: arXiv cs.AI ↗