Суть прорыва: эффективность против размера
Команда Underdog представила модель Saluki 27B, которая является квантованной версией Qwen3.8-27B с использованием метода GSQ-RCO от ISTA-DASLab. Ключевая особенность — сохранение функциональности вызова инструментов (tool-calling) при экстремальном сжатии до ~2 бит на вес. Размер файла GGUF составляет всего 7.9 ГБ, что позволяет запускать мощную модель на потребительском оборудовании.
Сравнительный анализ: Saluki vs ISTA Qwen3.8
Авторы провели прямое сравнение Saluki с оригинальной квантованной версией ISTA-DASLab и полной моделью. Тестирование проводилось на базе llama.cpp (версия b11565) с использованием бенчмарка Berkeley Function Calling Leaderboard (BFCL) v4. Ниже приведены технические характеристики файлов и результаты:
| Параметр | Underdog Saluki 27B | ISTA Qwen3.8-27B (GSQ-RCO) | Полная модель Qwen3.8-27B |
|---|---|---|---|
| Размер файла (GGUF) | 7.9 ГБ | 8.4 ГБ | ~54 ГБ |
| Точность (BFCL v4, 120 задач) | Лучший результат* | Ниже Saluki | Выше Saluki (базовая) |
| Метод квантовизации | GSQ-RCO (адаптированный) | GSQ-RCO (стандартный) | FP16/BF16 (оригинал) |
| Требования к GPU | 16 ГБ VRAM (с запасом) | 16 ГБ VRAM | 40+ ГБ VRAM |
*Saluki превзошел оригинал ISTA в специфическом бенчмарке на 120 задачах, что указывает на успешную оптимизацию весов для задач вызова функций.
Технические детали и воспроизводимость
Для обеспечения честного сравнения тесты проводились с фиксированным сидом и строгими параметрами сэмплирования (temperature=0.8, top_k=40). Использовались следующие компоненты:
- Движок: llama.cpp (commit f9a5aeb2, релиз b11565 от 12.10.2026).
- Бенчмарк: BFCL v4 (наборы данных: simple_python, multiple, irrelevance, parallel, parallel_multiple).
- Верификация: Проверка целостности файлов по SHA-256 (Saluki:
4a6735...9efb).
Почему это важно для разработчиков
Результат демонстрирует, что агрессивная квантовизация (2-бит) не обязательно убивает сложные когнитивные способности модели, такие как выбор правильных инструментов из API. Это открывает путь к развертыванию LLM с продвинутым tool-calling на локальных машинах с 16 ГБ видеопамяти (например, NVIDIA RTX 3060/4060 или Mac M-series), что ранее было доступно только для облачных решений или требовало мощных серверных GPU.
Как запустить
Модель доступна в формате GGUF. Для запуска рекомендуется использовать последнюю стабильную версию llama.cpp с поддержкой CUDA 12.8 (Linux) или Metal (macOS). Команда запуска стандартна для GGUF-файлов, но требует указания параметров контекста и сэмплирования для достижения заявленных результатов.
Источник: MarkTechPost ↗