Прорыв в эффективности: 27B параметров на 8 ГБ VRAM
Лаборатория ExVRAM Lab представила результаты работы над открытым проектом, цель которого — запуск больших языковых моделей (LLM) на потребительском оборудовании с ограниченной памятью. Ключевым достижением стала успешная работа модели Qwen3.8-27B на видеокарте NVIDIA RTX 5060 (8 GB) с архитектурой Blackwell (SM120).
Главное техническое достижение — полное размещение модели в VRAM (Full GPU residency) без использования CPU-декодера для весов. Это позволяет избежать узких мест при передаче данных между процессором и видеокартой, обеспечивая интерактивную скорость генерации. Модель использует квантование UD-IQ2_XXS для весов и q4_0 для KV-кэша.
Измеренные метрики производительности
Разработчики предоставили конкретные данные бенчмарков, полученные на реальном оборудовании. Важно отметить, что данные относятся к фазе P4/P6 и не включают финальную проверку качества (quality gate) или отключение фильтров безопасности (uncensored checkpoint), которые находятся в разработке.
| Параметр | Значение | Примечание |
|---|---|---|
| Модель | Qwen3.8-27B | Dense LLM, 65 слоев |
| Видеокарта | NVIDIA RTX 5060 8 GB | Compute Capability 12.0 (SM120) |
| Использование VRAM | 7611 MiB (пик) | 6521 MiB под буфер модели, остальное под контекст |
| Скорость (короткий контекст) | 31.39 tok/s | Полный GPU decode, профиль c256 |
| Скорость (8k контекст) | 30.10 tok/s | Медиана по 5 запускам, CV 2.0% |
| Контекстное окно | 8192 токенов | Заполнено на 5240-5400 токенов |
Архитектурный подход: Компромисс вычислений и памяти
ExVRAM Lab не создает новый движок с нуля, а интегрирует существующие open-source решения: llama.cpp, ExLlamaV3, GemLite и CUTLASS. Философия проекта заключается в обмене вычислительной мощности на снижение трафика памяти. Используя ультра-низкие битные представления (например, физическая плотность GemLite W2 составляет ~2.50 bpw), модель помещается в память, а реконструкция происходит «на лету».
Проект строго разделяет этапы: текущий фокус на производительности и удержании в памяти, в то время как улучшение качества (quality gate) и снижение уровня отказов (minimal-refusal) запланированы на следующие фазы (P9-P11).
Почему это важно для сообщества
Результат демонстрирует, что для запуска моделей класса 27B больше не обязательно обладать видеокартами с 24 ГБ+ памяти (такими как RTX 3090/4090). Благодаря оптимизации квантования и использованию новых архитектур NVIDIA Blackwell, энтузиасты могут работать с мощными моделями на доступном оборудовании. Проект подчеркивает важность измерения реальных метрик (measured results) вместо теоретических оценок, что задает новый стандарт прозрачности в локальном AI.
Источник: Github ↗