Drex 1.5: Открытый 9B-модель для принятия решений

В мире искусственного интеллекта доминируют большие языковые модели (LLM), которые славятся своей способностью генерировать связный текст, писать код и вести диалоги. Однако для многих корпоративных задач, таких как автоматизация бэкенд-процессов или работа агентов, генерация текста является избыточной и даже вредной. Здесь на сцену выходят так называемые «модели принятия решений» (decision models). Компания Nace.AI представила Drex 1.5 — новую открытую модель, которая не пишет тексты, а считывает состояние системы и заданные вопросы, чтобы вернуть вероятность для каждого из предложенных вариантов ответа. Это не просто еще одна LLM, это специализированный инструмент, который обещает высокую точность при минимальных вычислительных затратах.

Drex 1.5 позиционируется как прямой конкурент закрытых моделей, таких как Jev от TypeSafe. Модель демонстрирует впечатляющие результаты на публичных бенчмарках, занимая лидирующие позиции в категории моделей с количеством параметров менее 10 миллиардов. Но главное преимущество Drex 1.5 — это ее открытость и возможность локального запуска на относительно скромном оборудовании, что делает ее доступной для разработчиков по всему миру, включая тех, кто находится в России и сталкивается с ограничениями доступа к зарубежным облачным сервисам.

01Что такое Drex 1.5 и как она работает?

Чтобы понять суть Drex 1.5, нужно отойти от привычного представления о том, как работают нейросети. Обычно мы отправляем промпт, и модель генерирует токен за токеном. Drex 1.5 работает иначе. Это модель, которая оценивает фиксированный набор опций за один проход (forward pass). Вы отправляете ей «состояние» (state) — это может быть текст или JSON-структура, — и набор именованных вопросов. Модель не генерирует новый текст. Вместо этого она возвращает вероятность для каждого из заранее заданных вариантов ответа.

Модель поддерживает три типа вопросов:

• choice (выбор из нескольких вариантов);
• noul (да/нет);
• score (ординальная оценка, например, от 1 до 5).

Поскольку модель не генерирует токены, параметры, привычные для LLM, такие как temperature и top_p, здесь не применяются. Модель может ответить только теми вариантами, которые вы ей предоставили. Это гарантирует детерминированность и предсказуемость результата, что критически важно для автоматизации бизнес-процессов.

Архитектурно Drex 1.5 построена на базе MiMo-V2.6-Distill-Qwen-9B — это дистиллированная версия Qwen 3.5 с 9 миллиардами параметров. Архитектура включает 32 слоя с гибридным вниманием: на каждый полный слой внимания приходится три слоя линейного внимания. Отдельная головка указателей (head.pt) оценивает каждый вариант на основе скрытых состояний основной модели. В таких инструментах, как llama.cpp, состояние кодируется один раз и разделяется между всеми вопросами, что значительно ускоряет обработку.

02Производительность: цифры и бенчмарки

Главный показатель эффективности для моделей принятия решений — это Decision Index. На публичной версии Decision Index 0.3.1 (которая включает 37 бенчмарков с коррекцией на шанс угадывания) Drex 1.5 набрала 58.08 балла. Это лучший результат среди моделей с количеством параметров до 10 миллиардов. Для сравнения, закрытая модель Jev 1.13.0 набрала 57.96, а Bespoke Nimble 9B v3 — 57.19. Разница минимальна и находится в пределах статистической погрешности (так называемого «пояса ничьей» в 0.9 балла), но Drex 1.5 лидирует в 20 из 37 тестовых кейсов.

На другом популярном бенчмарке — JevBench (231 публичный элемент) — Drex 1.5 показала точность 86.2% против 87.0% у Jev. На сложных задачах (hard items) обе модели достигают одинакового результата в 73.9%. В прямом противостоянии в 8 играх OpenSpiel Drex одержала 122 победы, 47 раз была ничья и 87 раз проиграла (56.8% побед).

Однако истинная сила Drex 1.5 раскрывается при работе с длинными документами. Модель демонстрирует выдающуюся точность на контекстах от 32K до 128K токенов, достигая 93.4% точности. При этом медианное время обработки составляет всего 2.0 секунды. Если же обрезать тот же запрос до 8K токенов, точность падает до 76.5-78%, что подчеркивает важность полного контекста для принятия решений.

Слабые стороны модели также очевидны. В задачах на тонкий анализ тональности (ACOS aspect sentiment) F1-мера составляет всего 7.4% (против 29.5% у Jev). В тестах на общие знания (GPQA Diamond) точность составляет 45.4% против 78.6% у Jev. Это логично, так как Drex 1.5 обучалась на специфических данных для принятия решений, а не на общих корпусах текстов.

03Как запустить Drex 1.5 локально?

Одно из главных преимуществ Drex 1.5 — гибкость развертывания. Модель доступна по лицензии Nace.AI Open RAIL-M, что позволяет использовать ее в коммерческих целях с соблюдением определенных ограничений. Существует четыре основных пути запуска:

1. Python (Kev runtime): Использование скриптов inference.py и serve.py на GPU с поддержкой CUDA. Это стандартный путь для интеграции в Python-приложения.
2. llama.cpp: Nace предоставляет форк llama.cpp с поддержкой форматов bf16 и Q8_0 GGUF. Это позволяет запускать модель на CUDA, Metal (для Apple Silicon) или даже на CPU.
3. Ollama: Доступен форк Ollama, который добавляет возможность работы с моделями

   Источник: MarkTechPost ↗