Сжатие без потери агентности
Команда Underdog (Conway Research) представила модель Saluki 27B под лицензией Apache 2.0. Это 2-битная GGUF-версия Qwen3.8-27B, которая помещается в 7.89 GB памяти, тогда как оригинал в BF16 требует 54 GB. Архитектура базируется на 27B параметрах, 64 слоях и нативном контексте в 262,144 токенов, сочетая Gated DeltaNet и gated attention.
Ключевая инновация — трехуровневая оптимизация. Сначала ISTA-DASLab применяет GSQ-RCO для распределения типов квантования, затем Underdog проводит собственный проход (формат IQ2-mix с имитацией imatrix), специально нацеленный на сохранение навыков tool calling. Это превращает чат-модель в эффективного агента, работающего на стоковом llama.cpp.
Результаты бенчмарков: где победа, где провал
Модель демонстрирует 96% удержания качества по 9 бенчмаркам. Самое интересное происходит в задачах вызова инструментов: Saluki превосходит полный 54 GB аналог. Однако сложные математические рассуждения (AIME) теряют около 12-18 пунктов.
| Бенчмарк / Метрика | Saluki 27B (2-bit) | Qwen3.8-27B (BF16) | Примечание |
|---|---|---|---|
| Underdog Bench (120 задач) | 88 | 84 | Превосходство над оригиналом |
| Parallel tool calls (BFCL v4) | 42 | 35 | 120% удержание, лучший результат |
| SWE-bench Verified (фиксы) | 30 | 33 | Незначительное снижение |
| AIME 2025 (avg@4) | 79.2 | 96.7 | Снижение ~82% (сложная математика) |
| IFEval (prompt-loose) | 93.5 | 91.5 | Превосходство |
Сравнение с конкурентами: Saluki vs Bonsai 2
Главный конкурент в нише компактных Qwen3.8-27B — PrismML Bonsai 2 (5.95 GB, PTQ1_0). Bonsai 2 меньше и показывает 98.2% удержание по 14 бенчмаркам, включая отличные результаты в математике (95.00 на AIME25). Однако у него есть критический недостаток: он требует форка llama.cpp от PrismML, так как стоковый llama.cpp не поддерживает его форматы упаковки.
| Характеристика | Underdog Saluki 27B | PrismML Bonsai 2 27B | Qwen3.8-27B (BF16) |
|---|---|---|---|
| Размер файла | 7.89 GB | 5.95 GB | 54 GB |
| Бит на вес | ~2.0 (mix) | 1.75 | 16 (BF16) |
| Stock llama.cpp | PrismML fork | Transformers, vLLM | |
| Лицензия | Apache 2.0 | Apache 2.0 | Apache 2.0 |
Почему это важно для разработчиков
Saluki 27B закрывает важную нишу: запуск локальных AI-агентов на оборудовании с ограниченной памятью (например, на ноутбуках или edge-устройствах) без необходимости использовать кастомные сборки llama.cpp. Наличие опциональных визуальных аддонов (629 MB или 928 MB) расширяет сценарии использования. Модель доступна на Hugging Face, что позволяет сразу интегрировать её в локальные пайплайны разработки.
Бенчмарки
| Бенчмарк | Saluki 27B | PrismML’s Bonsai 2 | Qwen3.8-27B |
|---|---|---|---|
| Underdog Bench | 88% | 70% | 84% |
| Parallel tool calls | 42count | — | 35count |
| SWE-bench Verified | 30count | — | 33count |
| IFEval (prompt-loose) | 93.5% | — | 91.5% |
| MBPP+ | 78% | — | 83.9% |
| AIME 2025 (avg@4) | 79.2% | — | 96.7% |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: MarkTechPost ↗