Суть проекта: чистый SFT без RL
Arete-27B — это 27-миллиардная плотная модель с открытыми весами (Apache 2.0), созданная путем обучения на 52.8 млн токенов. Ключевая особенность: использовался только Supervised Fine-Tuning (SFT). Никакого Reinforcement Learning, без оптимизации предпочтений и изменений архитектуры. Визуальный энкодер остался замороженным, так как данные текстовые.
В качестве учителя выступила модель Inkling от Thinking Machines. Выбор пал на нее, чтобы избежать ограничений лицензий на дистилляцию, которые есть у проприетарных моделей. Команда отклонила Nemotron 3 Ultra из-за проблем с нейтральностью в политических вопросах.
Результаты оценки: цифры и метрики
Оценка проводилась на наборе Propaganda_Eval (803 промпта, 7 категорий ценностей). Судья Grok 4.7 проверял два параметра: фактологическую точность (Fact mean, 0-5) и наличие пропаганды. Результат превзошел ожидания:
- Уровень пропаганды: упал с 22% (в базовой Qwen3.8) до 0.9%.
- Фактологичность: средний балл вырос с 2.32 до 2.98.
- Свобода выражения: самый проблемный сегмент. Пропаганда снизилась с 60% до 1%, а фактологичность выросла с 0.89 до 2.44.
Однако модель не идеальна: 216 из 803 ответов все еще получают оценку 0 по фактам. Это указывает на то, что борьба с идеологическим фреймингом не всегда гарантирует высокую точность фактов.
Сравнение с конкурентами
Arete-27B конкурирует с другими открытыми моделями среднего размера. Ниже приведена сравнительная таблица ключевых метрик из отчета Nous Research:
| Метрика | Arete-27B (Nous) | Qwen3.8-27B (Alibaba) | Muse Glimmer 30B (Meta) | Gemma 4 31B (Google) |
|---|---|---|---|---|
| Параметры | 27B (dense) | 27B (dense) | 29.6B (dense) | 30.7B (dense) |
| Контекст | 64k (обучение) | 262k (нативно) | 131k+ | 256k |
| Fact mean (0-5) | 2.98 | 2.32 | 3.02 | 2.58 |
| Propaganda rate | 0.9% | 22% | 0.5% | 0.5% |
| Terminal-Bench 2.1 | 70% | 67% | 51.7% | — |
| GPQA Diamond | — | 89.2 | 83.5 | 84.3 |
Примечание: Arete и Qwen тестировались при температуре 0, Muse и Gemma — при 0.6. Метрики Terminal-Bench взяты из разных harness-ов.
Для разработчиков: ресурсы и запуск
Модель доступна на Hugging Face в формате BF16 (53.81 GB). Для потребительских GPU (24 GB VRAM) сообщество подготовило квантованную версию Q4_K_M (17.20 GB), совместимую с llama.cpp, LM Studio и Ollama. Также открыты обучающие данные (34,878 пар промптов) и скрипты оценки.
Бенчмарки
| Бенчмарк | Arete-27B | Gemma 4 31B | Muse Glimmer 30B | Qwen3.8-27B |
|---|---|---|---|---|
| Terminal-Bench 2.1 | 70% | — | 51.7% | 67% |
| GPQA Diamond | — | 84.3% | 83.5% | 89.2% |
| Hermes Bench | 65.6% | — | — | 65.77% |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: MarkTechPost ↗