Технический прорыв: обход драйверов и архитектура GCN
Проект Garlic LLM позволяет запускать большие языковые модели (LLM) на консолях PlayStation 4 без использования стандартных слоев драйверов. В отличие от решений для PS5, использующих Vulkan, Garlic LLM общается с GPU напрямую через OpenCL C и LLVM, компилируя вычислительные ядра для архитектуры AMD GCN. Приложение генерирует собственные низкоуровневые команды PM4, имитируя работу графического драйвера, что обеспечивает работу модели в обход официальных ограничений Sony.
Оптимизация памяти: как уместить 9 млрд параметров в 8 ГБ
Главная сложность — ограничение памяти консоли в 8 ГБ (разделенной между CPU и GPU). Модель Qwen3.5-9B в обычном виде требует более 9 ГБ. Разработчик достиг компактности в 4.5 ГБ за счет квантования:
- Основная часть весов сжата до 4-бит (Q4).
- Две самые большие матрицы в каждом слое используют 3-бит (Q3) веса.
- Кэш внимания (KV-cache) также квантован до 4 бит, что позволяет работать с контекстом до 16 000 токенов (вместо нативных 256 000).
Общий объем занимаемого места составляет около 5.66 ГБ, что укладывается в доступную память при наличии свободного места на диске.
Производительность и мультитокенное предсказание
Высокая скорость генерации текста (31–39 токенов в секунду) обеспечена использованием головы много-токенного предсказания (MTP) от Qwen3.5. Модель «заглядывает» на два токена вперед, а основной процесс верифицирует их. Это позволяет достигать скорости до 43 токенов/сек при генерации кода. Для сравнения, на PS5 та же архитектура (через llama.cpp) работает иначе, а более крупные модели на PS5 показывают меньшую скорость.
Мультимодальные возможности и сравнение
Garlic LLM поддерживает голосовой ввод и вывод. Для синтеза речи используется модель Chatterbox (7 языков, ~22 токена/сек), а для распознавания речи — Nvidia Parakeet TDT 0.6B v3 (25 европейских языков). Ниже приведено сравнение производительности на разных консолях:
| Платформа | Модель | Параметры | Скорость (токенов/сек) | Примечание |
|---|---|---|---|---|
| PS4 (Garlic LLM) | Qwen3.5-9B | 9 млрд | 31–39 (текст), до 43 (код) | Прямой доступ к GPU, OpenCL |
| PS5 (PS5LM) | Qwen3.8-27B | 27 млрд | ~20 | Через Vulkan/llama.cpp |
| PS5 (PS5LM) | Gemma 4 E4B | 4 млрд | 61 | Меньшая модель |
| PS5 (PS5LM) | Llama 3.2 3B | 3 млрд | 124 | Самая быстрая на PS5 |
Установка и требования
Для работы требуется консоль с прошивкой 11.52 и установленным хомбрей-энейблером GoldHEN. Само приложение Garlic LLM не содержит эксплойтов, но требует установки через Package Installer. Размер загрузки — 5.66 ГБ, необходимо около 6 ГБ свободного места (или 12 ГБ, если копировать пакет на диск). Тестирование проводилось на PS4 и PS4 Slim. Поддержка PS4 Pro и PS5 не заявлена, так как код заточен под специфичную архитектуру GPU PS4.
Источник: Tom's Hardware ↗
