Новая парадигма: от генерации к решению
Рынок ИИ-моделей переживает сдвиг: фокус смещается с чистого языкового моделирования на Decision Models (модели принятия решений). В отличие от традиционных LLM, которые генерируют структурированный вывод, Decision Models выбирают из фиксированного набора опций в одном вызове, предоставляя вероятность для каждого варианта. Это делает их значительно дешевле, быстрее и позволяет точно измерять калибровку (уверенность модели в своем ответе).
Методология: четыре столпа оценки
Индекс базируется на четырех независимых оценках, каждая из которых вносит 25% в итоговый вес. Комбинация тестов позволяет оценить не только «ум», но и надежность в реальных сценариях:
- AA-Omniscience-Decision: Приватный датасет, адаптированный из бенчмарка AA-Omniscience. Оценивает знания и уровень галлюцинаций (точность + скорость без галлюцинаций).
- HLE-MultiChoice: Текстовые вопросы с множественным выбором из Humanity's Last Exam. Измеряет способность к сложным рассуждениям.
- When2Call: Оценка от NVIDIA. Тестирует способность модели правильно решать, когда нужно вызывать внешние инструменты (tool calling).
- WildGuardTest: Оценка безопасности. Измеряет классификацию потенциально опасных или нежелательных запросов (метрика Average F1).
Лидеры рынка: кто принимает решения лучше всех?
Среди 13 протестированных моделей (включая языковые и специализированные decision-модели) выделяются несколько игроков. На диаграмме «Decision Index vs. Cost per 1M Tasks» наиболее привлекательным квадрантом (высокая точность при низкой стоимости) обладают модели от Celeris, Cloudflare, Fastino и Inception.
В категории калибровки (соответствие вероятности ответа фактической точности) лидируют Celeris-1 Decision, Clef, GLiDE и Microsoft-Decision-1. Важно отметить, что для языковых моделей калибровка пока не рассчитывается, что подчеркивает их преимущество в гибкости, но недостаток в предсказуемости для автоматизированных систем.
Экономика и скорость: почему это важно для бизнеса
Главное преимущество Decision Models — экономическая эффективность. Поскольку они billed (оплачиваются) только за входные токены (input tokens) и не генерируют длинный текст, стоимость за 1 миллион задач (Cost per 1M Tasks) у них значительно ниже, чем у LLM, которые оплачиваются и за вход, и за выход.
Для разработчиков агентов и автоматизации это означает возможность масштабировать процессы классификации тикетов, маршрутизации запросов и проверки безопасности без раздувания бюджета на токены. Индекс показывает, что выбор между скоростью, стоимостью и точностью больше не является компромиссом: современные Decision Models позволяют оптимизировать все три параметра одновременно.
Источник: Artificialanalysis ↗