Проблема локального инференса
Для рядовых пользователей с видеокартами уровня NVIDIA GeForce RTX 4070 Ti SUPER (16 ГБ VRAM, стоимость ~900$) запуск полноценных LLM-агентов долгое время был невозможен. Стандартные модели, такие как Qwen 3.8 27B (Dense), выдают лишь 10–20 токенов в секунду, что недостаточно для комфортной работы. Целевой показатель для агента — 100–150 токенов в секунду. Автор статьи igumnov нашел решение, объединив специфические модели и оптимизации.
Технологический стек: MoE, MTP и квантование
Ключевыми моделями стали Tiel-Coder-35B-A3B и ее uncensored-версия Cyber-Tiel-Coder-35B-A3B. Их эффективность достигается за счет трех факторов:
- Архитектура MoE (Mixture of Experts): Вычисления выполняются только с частью параметров, что дает прирост скорости генерации на 200–450% по сравнению с Dense-моделями.
- Multi-Token Prediction (MTP): Модель предсказывает несколько следующих токенов одновременно, увеличивая скорость инференса на 20%.
- Sharp Template: Оптимизированный Jinja-шаблон сокращает количество токенов на рассуждения на 59%, ускоряя работу агента в 2 раза.
Итоговая конфигурация использует квантование UD-Q2_K_XL, что позволяет уместить модель в память, жертвуя точностью ради скорости.
Результаты производительности
На RTX 4070 Ti SUPER с использованием моделей Cyber-Tiel-Coder-35B-A3B-MTP-UD-Q2_K_XL.gguf и Tiel-Coder-35B-A3B-MTP-UD-Q2_K_XL.gguf достигнута скорость 125 токенов в секунду. Ниже приведено сравнение подходов:
| Параметр | Стандартная Dense LLM (напр. Qwen 27B) | Предложенный стек (Tiel-Coder 35B MoE + MTP) |
|---|---|---|
| Скорость генерации | 10–20 токенов/с | 125 токенов/с |
| Архитектура | Dense (все параметры активны) | MoE (активны только эксперты) |
| Прогнозирование токенов | 1 токен за шаг | Несколько токенов (MTP) |
| Оптимизация промпта | Стандартная | Sharp Template (-59% токенов) |
Обход ограничений контекстного окна (65K токенов)
Основная проблема 16 ГБ VRAM — ограниченное контекстное окно (65 535 токенов). Автор предлагает четыре метода для работы с большими кодовыми базами:
- Легковесный агент Pi: В отличие от Codex или Claude Code, требующих 10–14 тыс. токенов на системный промпт, агент Pi использует всего ~1,5 тыс. токенов, экономя 85% контекста.
- Разделение на фазы: Сначала создается файл
plan.md(планирование), затем контекст очищается командой/new, и агент реализует план. Это предотвращает переполнение окна. - Скилл subtask4llm: Для больших задач задача разбивается на 10 подзадач. Каждая выполняется в отдельном экземпляре агента с чистым контекстом, результаты стекаются в главный инстанс.
- AGENTS.md (Чистый код): Жесткие правила (файлы до 300–500 строк, обязательные unit-тесты) компенсируют ошибки квантования Q2. Модель работает в итерациях, исправляя ошибки, что допустимо при локальном запуске без оплаты за токены.
Альтернатива: Qwen 3.8 Flash Next 125B
В обновлении автор указывает, что через инструмент Strata можно запустить модель Qwen 3.8 Flash Next 125B в квантовании IQ3_S на той же 16 ГБ видеокарте. Менее активные слои выгружаются в RAM/SSD. Результат: ~60 токенов/с при контексте 128К. Качество работы сопоставимо с GPT Luna 6.5, что делает этот вариант альтернативой для задач, где важна точность, а не максимальная скорость.
Источник: Habr ↗