AIKraft Agents
Главная/Блог/Гайд/Decision Models: Новая эра…
Гайд4 мин чтения · 10 ноября 2026 г.

Decision Models: Новая эра структурированного AI

Разбираем, как Decision Models решают проблему нестабильности LLM в задачах классификации и маршрутизации, предоставляя вероятностные ответы без генерации текста.

Decision Models: Новая эра структурированного AI

В последние годы мы стали свидетелями невероятного взлета больших языковых моделей (LLM). Эти модели демонстрируют поразительные способности к генерации текста: они пишут код, отвечают на сложные вопросы, ведут диалоги и даже рассуждают над логическими задачами. Однако, несмотря на эту универсальность, не каждая бизнес-задача требует от искусственного интеллекта создания связного текста. Иногда системе нужно не «рассуждать», а принять четкое, детерминированное решение на основе предоставленных данных.

Представьте типичный сценарий в службе поддержки клиентов. Пользователь отправляет сообщение: «Мне дважды списали деньги за подписку. Мне нужен возврат средств сегодня». Задача системы здесь не в том, чтобы сочувственно ответить клиенту, а в том, чтобы мгновенно определить, какая команда должна обработать этот запрос, насколько он срочный и является ли запрос на возврат законным. Традиционно для этого использовали LLM, прося их вернуть JSON-объект с этими данными. Но такой подход имеет серьезные недостатки, которые теперь решает новый класс моделей — Decision Models.

01Почему LLM не всегда подходят для классификации

Многие разработчики уже используют языковые модели для структурированных задач, просто прося их вывести результат в формате JSON. Например, можно отправить запрос через CLI:

terminalbash
llama cli -hf ggml-org/gemma-4-e4b-it-GGUF:Q4_0
> We have the following customer support ticket,
"I was charged twice for my subscription. I need a refund today."
which
team should handle the request, how urgent it is, and whether the customer is requesting a refund. Give the answers
in
JSON.
[Start thinking]
...
[end thinking]
```json
"team_to_handle"
"Billing"
"urgency"
"High"
"request_refund"
true

На первый взгляд, это работает. Но есть три фундаментальные проблемы с таким подходом:

  1. Ненадежность схемы: Даже с самыми строгими инструкциями LLM может выдать невалидный JSON, добавить неожиданные ключи или вернуть ответ, которого нет в списке допустимых вариантов. Это требует дополнительной валидации и обработки ошибок на стороне приложения.
  2. Вычислительные накладные расходы: Библиотеки вроде Outlines или XGrammar могут ограничивать декодирование, заставляя модель выбирать только из разрешенных токенов. Однако это не устраняет саму природу авторегрессионного декодирования, которое по своей природе предназначено для последовательной генерации, а не для мгновенного выбора.
  3. Избыточность: Когда приложению нужно просто выбрать один из нескольких вариантов, генерация целого текстового ответа — это избыточная работа. Модели тратят ресурсы на формирование синтаксиса JSON, который потом придется парсить.
Decision Models: Новая эра структурированного AI
💡
Ключевая идея. Decision Models предлагают альтернативу: вместо генерации текста модель напрямую оценивает доступные варианты и возвращает распределение вероятностей по ним. Это быстрее, надежнее и эффективнее по ресурсам.

02Что такое Decision Models?

Термин «Decision Models» (модели принятия решений) закрепился в сообществе, чтобы описать вычислительную роль таких моделей, избегая спорных когнитивных аналогий (хотя изначально они ассоциировались с «System One» от TypeSafe AI). По своей сути, Decision Model принимает контекст (состояние), оценивает вопрос с набором заранее определенных возможных ответов (примитивов) и возвращает структурированное решение вместе с вероятностями.

Фундаментальный интерфейс выглядит так:

State + Questions + Allowed Answers → Decisions + Probabilities

Давайте посмотрим, как это работает на практике с использованием библиотеки transformers:

Decision Models: Новая эра структурированного AI
terminalpython
from transformers import pipeline

decide = pipeline(
    "decision", model="autotrust/GEV-26B-Decide"
)

decision = decide(
    {
        "state": "I was charged twice for my order and want a refund.",
        "questions": {
            "department": {
                "type": "choice",
                "instructions": "Which team should handle this?",
                "criteria": {
                    "billing": "Payments and refunds",
                    "technical": "Bugs and technical issues",
                    "sales": "Pricing and subscriptions"
                },
            }
        }
    }
)
# Результат:
# {
#   'department': {
#       'type': 'choice',
#       'choice': 'billing',
#       'confidence': 0.9974000453948975,
#       'probabilities': {
#         'billing': 0.9982666969299316,
#         'technical': 0.0010246571619063616,
#         'sales': 0.0007087149424478412
#       }
#     }
# }

Здесь модель не генерирует текст. Она присваивает логиты каждому варианту, и через функцию softmax вычисляет точные вероятности. Мы получаем не просто слово «Billing», а уверенность модели в этом выборе и распределение вероятностей по всем остальным вариантам.

03От классификации к Decision Models

Чтобы понять инновационность Decision Models, полезно сравнить их с традиционными подходами к классификации.

Традиционная классификация

Обычный классификатор обучается на фиксированном наборе меток. Если вы обучили модель различать три отдела (Биллинг, Техподдержка, Продажи), то ее выходной слой (classification head) жестко привязан к этим трем классам. Если вам нужно добавить четвертый отдел — Юридический, — вам придется переобучать модель или адаптировать ее архитектуру. Это делает систему негибкой.

Zero-shot классификация

Zero-shot классификация решает проблему фиксированных меток. Вы можете передать кандидаты прямо во время инференса:

from transformers import pipeline

classifier = pipeline(
    "zero-shot-classificatio

Источник: Hugging Face ↗