Суть инновации: от генерации к вероятностям
Традиционные LLM тратят вычислительные ресурсы на авторегрессионную генерацию текста, даже когда приложению нужен лишь структурированный ответ. Hugging Face вводит понятие Decision Models (модели принятия решений). Их интерфейс принимает контекст (state) и набор вопросов с заранее определенными вариантами ответов, возвращая не текст, а распределение вероятностей по допустимым исходам.
Это позволяет приложениям получать детерминированные ответы с метрикой уверенности модели, минуя этап генерации токенов, что критично для систем маршрутизации и классификации в реальном времени.
Сравнение подходов: почему это лучше JSON-генерации
Использование LLM для возврата JSON (через Outlines или XGrammar) имеет недостатки: риск нарушения схемы, высокая задержка и избыточные вычисления. Decision Models решают эти проблемы, используя оптимизированные архитектуры, где выбор ответа встроен в процесс инференса.
| Характеристика | Традиционная классификация | Zero-shot классификация | Decision Models |
|---|---|---|---|
| Вероятности по выборам | Да | Да | Да |
| Категории на лету (inference time) | Нет (зашиты в модель) | Да | Да |
| Несколько типов вопросов | Нет | Нет | Да (choice, score, noul) |
| Генерация текста | Нет | Нет | Нет (только вероятности) |
Типы вопросов и примеры использования
Модель поддерживает три типа примитивов для ответов:
- Choice: Выбор из списка альтернатив (например, определение отдела поддержки).
- Score: Оценка по упорядоченной шкале (например, уровень срочности от 1 до 5).
- Noul: Вероятность истинности утверждения (да/нет).
Пример кода для маршрутизации тикета в отдел биллинга:
decide = pipeline("decision", model="autotrust/GEV-26B-Decide")
decision = decide({
"state": "I was charged twice for my order and want a refund.",
"questions": {
"department": {
"type": "choice",
"instructions": "Which team should handle this?",
"criteria": {
"billing": "Payments and refunds",
"technical": "Bugs and technical issues",
"sales": "Pricing and subscriptions"
}
}
}
})
# Результат: {'department': {'choice': 'billing', 'confidence': 0.997, 'probabilities': {...}}}
Почему это важно для разработчиков
Введение Decision Models знаменует переход от «умения говорить» к «умению решать». Это снижает latency и стоимость инференса для задач, где не требуется креативность, но важна точность и скорость. Модель autotrust/GEV-26B-Decide уже доступна в экосистеме Hugging Face, открывая путь к созданию более эффективных агентных систем и систем поддержки клиентов.
Источник: Hugging Face blog ↗