Суть инновации: от текста к вероятностям
Baseten выпустила joey-1, новую модель из семейства Decision Models, разработанную в собственной исследовательской лаборатории Base Labs. В отличие от традиционных LLM, генерирующих текст, joey-1 выполняет один проход (forward pass) и возвращает метку и калиброванную вероятность для каждого варианта ответа. Это решает задачи маршрутизации, классификации и проверки guardrail-ов без необходимости парсить свободный текст приложением.
Модель поддерживает три типа вопросов: choice (выбор одного из вариантов), yes/no (вероятность утверждения) и score (упорядоченный уровень, например, срочность). Все вопросы обрабатываются через общий префикс, что минимизирует затраты при добавлении новых запросов.
Технические детали и обучение
joey-1 является пост-обученной версией Qwen3.5-2B. Архитектура использует полносвязные слои с блочной двунаправленной маской, а энкодер изображений остается замороженным. Обучение проводилось на 6.21 млн примеров решений в течение 1 эпохи (43 390 шагов) на 2 узлах с 8 GPU H100. Функция потерь включала кросс-энтропию и член калибровки Бриера, а также обученную опцию «Я не знаю».
Производительность и цены
Ключевое преимущество joey-1 — скорость и стоимость. При среднем запросе в 2 000 токенов модель обеспечивает P50 задержку всего 20 мс, что в 2.5 раза быстрее брата-близнеца elephant-1 (49 мс). Цена на Baseten Model APIs составляет $0.01 за 1 млн входных токенов, тогда как вывод и кэшированный ввод бесплатны.
Для сравнения стоимости обработки 10 млн тикетов поддержки в месяц (5 млрд токенов):
- joey-1: ~$50
- elephant-1 (9B): ~$175 (цена $0.035/1M)
- mammoth-1 (27B): ~$500 (цена $0.10/1M)
Бенчмарки и сравнение с конкурентами
На публичном сплите Jev Decision Index 0.4 joey-1 набрала 63.30 балла, заняв 37-е место из 230 моделей и став лучшей среди моделей до 4B параметров. Она превосходит Cloudflare Clef (61.71) и Jev 1.14 (60.70), но уступает более крупной elephant-1 (72.24).
| Характеристика | joey-1 | elephant-1 | Cloudflare Clef-Flash |
|---|---|---|---|
| Параметры | 2B | 9B | 9B |
| Базовая модель | Qwen3.5-2B | Qwen3.5-9B | Qwen3.5-9B |
| Лицензия | MIT | MIT | Apache-2.0 |
| Входные данные | Текст, изображения | Текст, изображения | Текст |
| Цена (Baseten) | $0.01 / 1M токенов | $0.035 / 1M токенов | Не указано |
Почему это важно
joey-1 демонстрирует тренд на специализированные модели для бизнес-логики, где важна не креативность, а скорость и точность классификации. Калибровка вероятностей позволяет настраивать пороги уверенности: если модель не уверена, запрос можно автоматически перенаправить на более мощную elephant-1 или к человеку. Открытые веса доступны на Hugging Face, а API совместим с другими моделями семейства через единый интерфейс /v1/systemone.
Источник: MarkTechPost ↗