Новый стандарт для Decision Models
Компания Baseten расширила линейку моделей для корпоративных задач, выпустив Bison-1 и Groundhog-1. В отличие от традиционных LLM, эти модели не генерируют текст. Их задача — возвращать калиброванные вероятности для вопросов типа «да/нет», выбора из вариантов или оценки по шкале. Это критически важно для систем маршрутизации (routing), триаж-систем и guardrail-пайплайнов, где важна точность, а не креативность.
Обе модели построены на базе Google Gemma 4, что делает их первыми в портфеле Baseten на «американском» бэкбоне. Ключевое улучшение — увеличение контекстного окна с 16k до 128k токенов (131,072), что позволяет загружать полную историю диалога или политику безопасности в одном запросе. Также добавлена поддержка входных изображений.
Технические характеристики и производительность
Bison-1 — это плотная модель на 31B параметров, которая показала лучший результат в бенчмарке Artificial Analysis Decision Index v2.1, набрав 76 баллов. Groundhog-1 — более легкая смесь экспертов (MoE) с 26B параметров, из которых активны только ~4B, что делает её значительно дешевле в инференсе.
Высокая калиброванность Bison-1 (Brier score 0.14) достигнута за счет использования «мягких меток» (soft labels) при дообучении, что позволяет модели точнее оценивать свою уверенность.
| Характеристика | Bison-1 | Groundhog-1 | Конкурент (Liquid d1.2-ultra) |
|---|---|---|---|
| Архитектура | 31B Dense | 26B MoE (~4B active) | Не раскрыто |
| Базовая модель | Gemma 4 31B | Gemma 4 26B-A4B | — |
| Контекст | 128k токенов | 128k токенов | 65,536 токенов |
| Входные данные | Текст + Изображения | Текст + Изображения | Текст + Изображения + Аудио |
| AA Decision Index v2.1 | 76 (#1) | Не оценено | 75 |
| Brier Score (калибровка) | 0.14 | — | 0.15 |
| Цена (за 1M input tokens) | $0.10 | $0.035 | $0.042 |
Детали бенчмарков
Результаты Bison-1 на компонентных тестах Artificial Analysis демонстрируют доминирование в задачах, требующих строгого следования инструкциям, но уступают в задачах, требующих глубоких знаний:
- When2Call: 98 баллов (#1 в рейтинге)
- EvalSafe-O*NET-AA: 93 балла (#1)
- AA-Symmetry v1.1: 89 баллов (#1)
- AA-Paperclip: 73 балла (#2)
- AA-Omniscience-Decision v1.1: 60 баллов (#11) — слабое место модели
В тесте на длинный контекст LongMemEval M (128k) Bison-1 набрал 84.8, а Groundhog-1 — 77.4.
Деплой и доступность
Модели доступны через Baseten Model APIs с идентификаторами decision-models/baseten-bison-latest и decision-models/baseten-groundhog-latest. Open-веса в формате BF16 опубликованы на Hugging Face. Для запуска Bison-1 требуется около 62 GB VRAM, для Groundhog-1 — 52 GB. Обучение Bison-1 проводилось на 192 GPU NVIDIA B200, Groundhog-1 — на 128 GPU.
Бенчмарки
| Бенчмарк | bison-1 | d1.2-ultra | mammoth-1 |
|---|---|---|---|
| AA Decision Index v2.1 | 76% | 75% | 71% |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: MarkTechPost ↗
