Суть прорыва: эффективность через архитектуру MoE
Компания Samaya AI выпустила Sterling — специализированную модель для финансового исследования, построенную на базе NVIDIA Nemotron 3.5 Lightning. Ключевая особенность архитектуры: это смесь экспертов (Mixture-of-Experts) с 30 миллиардами общих параметров, но всего 3 миллиардами активных на каждый шаг генерации. Это позволяет модели работать быстро и дешево, сохраняя высокую интеллектуальную емкость.
Sterling позиционируется как агент: он не просто отвечает, а планирует исследование, вызывает финансовые инструменты (API), собирает доказательства и передает данные отдельному «писателю отчетов». Модель обучалась в 4 этапа с использованием LoRA и API Tinker от Thinking Machines Lab, включая синтетические данные и Offline/Online GRPO (Group Relative Policy Optimization).
Результаты на FrontierFinance: качество против цены
На публичном бенчмарке FrontierFinance (220 запросов, оценка экспертными рубриками) Sterling демонстрирует выдающиеся результаты. Важно отметить, что команда Samaya утверждает: ни один вопрос из бенчмарка не был использован в обучающих данных. Модель превзошла флагманские решения не только по качеству, но и по экономической эффективности.
| Метрика | Samaya Sterling (Standard) | Claude Fable 5.1 | Samaya Sterling (High Effort) |
|---|---|---|---|
| Score (FrontierFinance) | 58.9% | 55.9% | 60.6% |
| Стоимость вопроса | $0.61 | $6.89 | $1.83 |
| Время ответа | 282 сек | 268 сек | 372 сек |
| Сложные вопросы (топ-33%) | 45.2% | Инфо отсутствует | Инфо отсутствует |
Как видно из таблицы, Sterling обходит Claude Fable 5.1 на 3 процентных пункта при стоимости запроса, которая в 11 раз ниже ($0.61 против $6.89). Даже в режиме «высоких усилий» (High Effort), где модель тратит больше времени на рассуждения, Sterling сохраняет преимущество в цене и качестве.
Как «узкая» модель побеждает гигантов?
Главный инсайт от Samaya AI заключается не в размере модели, а в оптимизации «поводка» (harness). Команда из двух человек адаптировала производственный фреймворк для малого агента:
- Оптимизация промптов: системные инструкции и описания инструментов были максимально сжаты, чтобы не перегружать контекстное окно 3B-модели.
- Вспомогательные модели: внедрены два специализированных помощника. Конденсатор (condenser) сокращает длинные ответы инструментов, а компактор (compactor) суммирует историю диалога по мере роста.
- Бюджет исследований: агент ограничен по количеству шагов, после чего передает собранные данные финальному генератору отчета.
Технические детали и доступность
Базовая модель Nemotron 3.5 Lightning поддерживает контекст до 1 миллиона токенов и помещается в одну видеокарту NVIDIA H100 80GB в формате BF16. Однако детали развертывания самого агента Sterling ( serving context) не раскрываются. Лицензия OpenMDW-1.1 распространяется на базовую модель, но публичных весов или API для самого агента Sterling пока не анонсировано. Это решение демонстрирует, что в узких доменах (финансы) правильная архитектура агента и данные могут быть важнее просто размера нейросети.
Источник: MarkTechPost ↗