Архитектура и производительность
Recursive представила Flint — модель с архитектурой Mixture-of-Experts (MoE), разработанную полностью в автоматическом режиме с помощью системы Eureka Machine. Модель содержит 40 миллиардов параметров, но при генерации активирует лишь 2.5 миллиарда. Это позволяет достичь высокой скорости инференса без потери качества кода.
Ключевые метрики скорости на локальном оборудовании:
- Apple M4 Pro MacBook Pro: более 125 токенов в секунду.
- NVIDIA RTX Spark (64GB): более 150 токенов в секунду (на коротких контекстах).
Flint работает в 5 раз быстрее плотных моделей аналогичного размера (25–40B параметров) и в 2 раза быстрее других MoE-моделей своего класса.
Результаты на бенчмарках
Flint демонстрирует state-of-the-art результаты среди локальных моделей с количеством параметров менее 50B. Ниже приведено сравнение средних баллов на ключевых тестах:
| Бенчмарк | Flint (MoE 40B) | Примечание |
|---|---|---|
| SWE-Bench Pro v2 | Лидер в классе | Agentic coding, no internet |
| Terminal-Bench 2.1 | Лидер в классе | Terminus 2, retrieval не засчитывается |
| SWE-Bench Verified | Лидер в классе | mini-swe-agent |
| LiveCodeBench v6 | Высокий результат | Single-turn, pass@1 |
Автоматизированное обучение и квантование
Вся разработка заняла менее 4 месяцев благодаря системе Eureka Machine, которая автоматизировала поиск архитектуры, рецептов обучения и оптимизацию ядра. Особое внимание уделено квантованию:
- Использована схема NVFP4 (4-битное квантование).
- Впервые квантован до 4 бит слой вывода (lm_head), что критично для MoE-моделей с малым числом активных параметров.
- Для восстановления точности применена офлайн-дистилляция: квантованная модель обучается на собственных ответах, сгенерированных 16-битной версией.
В результате NVFP4-модель набирает всего на 0.7 балла меньше, чем 16-битная версия, но требует значительно меньше памяти и вычислений.
Доступность и лицензия
Модель Flint доступна на Hugging Face под лицензией Apache 2.0. Она поддерживает контекстное окно до 512k токенов (рекомендуется до 256k для оптимальной работы). Для запуска рекомендуются фреймворки llama.cpp, Ollama, Unsloth, LM Studio, vLLM и SGLang. Также выпущен специализированный движок rec, оптимизированный для чипов Apple Silicon M4/M5.
Источник: Recursive ↗