Специализация вместо универсальности
Perplexity AI выпустила модель pplx-decider-v1-27b, которая позиционируется не как универсальный LLM, а как «модель решений» (decision model). Она создана для точного распределения запросов, оценки срочности и классификации контента. В основе лежит архитектура Qwen3.8-27B, но с существенной дообучкой (fine-tuning) под задачи, требующие детерминированного выбора, а не генерации текста.
Результаты бенчмарков: обгон базовой модели
Модель демонстрирует значительный прирост точности по сравнению с базовым Qwen3.8-27B в ключевых задачах, таких как проверка фактов (RAGTruth) и работа с таблицами (TabFact). Ниже приведено сравнение метрик (Overall accuracy) на 11 бенчмарках:
| Benchmark | Jev (Target) | Qwen3.8-27B (Base) | pplx-decider-v1-27b |
|---|---|---|---|
| Overall | 84.51% | 74.76% | 85.71% |
| RAGTruth | 77.27% | 61.53% | 88.80% |
| TabFact | 89.80% | 78.60% | 90.60% |
| WinoGrande | 90.70% | 73.10% | 83.30% |
| BBH | 94.27% | 72.80% | 82.80% |
| TruthfulQA binary | 92.00% | 82.80% | 85.40% |
Обратите внимание на RAGTruth: базовая модель показала лишь 61.53%, тогда как Decider достиг 88.80%, что критично для систем, работающих с внешними знаниями.
Технические характеристики и требования
Модель весит 26B параметров (в формате BF16) и требует около 49 GiB видеопамяти GPU для загрузки весов плюс оперативная память для вычислений. Поддерживается запуск через Python 3.12+ с использованием библиотеки huggingface-hub и утилиты uv.
Практическое применение: маршрутизация и анализ
Главная сила модели — в способности выдавать структурированные ответы с калиброванными вероятностями. Пример использования для маршрутизации запросов в поддержку:
- Вход: «My Stripe integration keeps failing. Please help ASAP.»
- Инструкция: «Which team should handle this request?» с критериями (billing, technical_support, sales).
- Результат: Модель выбирает
technical_supportс высокой вероятностью.
Также поддерживается анализ изображений (скриншотов) и бинарная классификация (да/нет) для оценки срочности или тональности.
Почему это важно
Рынок перенасыщен генеративными моделями, но не хватает надежных инструментов для «пост-обработки» и принятия решений на основе их вывода. pplx-decider-v1-27b закрывает эту нишу, предлагая open-weight решение, которое может работать как «судья» или «диспетчер» в сложных AI-агентах, снижая количество ошибок в критических сценариях.
Бенчмарки
| Бенчмарк | pplx-decider-v1-27b | Jev | Qwen3.8-27B |
|---|---|---|---|
| WinoGrande | 83.3% | 90.7% | 73.1% |
| FinancialPhraseBank | 84.18% | 76.98% | 75.68% |
| RAGTruth | 88.8% | 77.27% | 61.53% |
| JudgeBench | 78.29% | 78.57% | 68.86% |
| BBH | 82.8% | 94.27% | 72.8% |
| JevBench public hard | 70.3% | 73.27% | 72.28% |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: Huggingface ↗