В последние годы мы стали свидетелями невероятного взлета больших языковых моделей (LLM). Эти модели демонстрируют поразительные способности к генерации текста: они пишут код, отвечают на сложные вопросы, ведут диалоги и даже рассуждают над логическими задачами. Однако, несмотря на эту универсальность, не каждая бизнес-задача требует от искусственного интеллекта создания связного текста. Иногда системе нужно не «рассуждать», а принять четкое, детерминированное решение на основе предоставленных данных.
Представьте типичный сценарий в службе поддержки клиентов. Пользователь отправляет сообщение: «Мне дважды списали деньги за подписку. Мне нужен возврат средств сегодня». Задача системы здесь не в том, чтобы сочувственно ответить клиенту, а в том, чтобы мгновенно определить, какая команда должна обработать этот запрос, насколько он срочный и является ли запрос на возврат законным. Традиционно для этого использовали LLM, прося их вернуть JSON-объект с этими данными. Но такой подход имеет серьезные недостатки, которые теперь решает новый класс моделей — Decision Models.
01Почему LLM не всегда подходят для классификации
Многие разработчики уже используют языковые модели для структурированных задач, просто прося их вывести результат в формате JSON. Например, можно отправить запрос через CLI:
llama cli -hf ggml-org/gemma-4-e4b-it-GGUF:Q4_0
> We have the following customer support ticket,
"I was charged twice for my subscription. I need a refund today."
which
team should handle the request, how urgent it is, and whether the customer is requesting a refund. Give the answers
in
JSON.
[Start thinking]
...
[end thinking]
```json
"team_to_handle"
"Billing"
"urgency"
"High"
"request_refund"
trueНа первый взгляд, это работает. Но есть три фундаментальные проблемы с таким подходом:
- Ненадежность схемы: Даже с самыми строгими инструкциями LLM может выдать невалидный JSON, добавить неожиданные ключи или вернуть ответ, которого нет в списке допустимых вариантов. Это требует дополнительной валидации и обработки ошибок на стороне приложения.
- Вычислительные накладные расходы: Библиотеки вроде Outlines или XGrammar могут ограничивать декодирование, заставляя модель выбирать только из разрешенных токенов. Однако это не устраняет саму природу авторегрессионного декодирования, которое по своей природе предназначено для последовательной генерации, а не для мгновенного выбора.
- Избыточность: Когда приложению нужно просто выбрать один из нескольких вариантов, генерация целого текстового ответа — это избыточная работа. Модели тратят ресурсы на формирование синтаксиса JSON, который потом придется парсить.

02Что такое Decision Models?
Термин «Decision Models» (модели принятия решений) закрепился в сообществе, чтобы описать вычислительную роль таких моделей, избегая спорных когнитивных аналогий (хотя изначально они ассоциировались с «System One» от TypeSafe AI). По своей сути, Decision Model принимает контекст (состояние), оценивает вопрос с набором заранее определенных возможных ответов (примитивов) и возвращает структурированное решение вместе с вероятностями.
Фундаментальный интерфейс выглядит так:
State + Questions + Allowed Answers → Decisions + Probabilities
Давайте посмотрим, как это работает на практике с использованием библиотеки transformers:

from transformers import pipeline
decide = pipeline(
"decision", model="autotrust/GEV-26B-Decide"
)
decision = decide(
{
"state": "I was charged twice for my order and want a refund.",
"questions": {
"department": {
"type": "choice",
"instructions": "Which team should handle this?",
"criteria": {
"billing": "Payments and refunds",
"technical": "Bugs and technical issues",
"sales": "Pricing and subscriptions"
},
}
}
}
)
# Результат:
# {
# 'department': {
# 'type': 'choice',
# 'choice': 'billing',
# 'confidence': 0.9974000453948975,
# 'probabilities': {
# 'billing': 0.9982666969299316,
# 'technical': 0.0010246571619063616,
# 'sales': 0.0007087149424478412
# }
# }
# }Здесь модель не генерирует текст. Она присваивает логиты каждому варианту, и через функцию softmax вычисляет точные вероятности. Мы получаем не просто слово «Billing», а уверенность модели в этом выборе и распределение вероятностей по всем остальным вариантам.
03От классификации к Decision Models
Чтобы понять инновационность Decision Models, полезно сравнить их с традиционными подходами к классификации.
Традиционная классификация
Обычный классификатор обучается на фиксированном наборе меток. Если вы обучили модель различать три отдела (Биллинг, Техподдержка, Продажи), то ее выходной слой (classification head) жестко привязан к этим трем классам. Если вам нужно добавить четвертый отдел — Юридический, — вам придется переобучать модель или адаптировать ее архитектуру. Это делает систему негибкой.
Zero-shot классификация
Zero-shot классификация решает проблему фиксированных меток. Вы можете передать кандидаты прямо во время инференса:
from transformers import pipeline
classifier = pipeline(
"zero-shot-classificatio
Источник: Hugging Face ↗
