AIKraft Agents
Инструменты16 ноября 2026 г., 16:16 МСК🤖 Auto

PS4 запускает ИИ на 9 млрд параметров: взлом обходит драйверы

Разработчик Leonardo Alegría заставил взломанную PS4 запускать модель Qwen3.5-9B локально, достигая 43 токенов/сек за счет прямого обращения к GPU 2013 года.

Баннер новости 12032

Технический прорыв: обход драйверов и архитектура GCN

Проект Garlic LLM позволяет запускать большие языковые модели (LLM) на консолях PlayStation 4 без использования стандартных слоев драйверов. В отличие от решений для PS5, использующих Vulkan, Garlic LLM общается с GPU напрямую через OpenCL C и LLVM, компилируя вычислительные ядра для архитектуры AMD GCN. Приложение генерирует собственные низкоуровневые команды PM4, имитируя работу графического драйвера, что обеспечивает работу модели в обход официальных ограничений Sony.

Оптимизация памяти: как уместить 9 млрд параметров в 8 ГБ

Главная сложность — ограничение памяти консоли в 8 ГБ (разделенной между CPU и GPU). Модель Qwen3.5-9B в обычном виде требует более 9 ГБ. Разработчик достиг компактности в 4.5 ГБ за счет квантования:

  • Основная часть весов сжата до 4-бит (Q4).
  • Две самые большие матрицы в каждом слое используют 3-бит (Q3) веса.
  • Кэш внимания (KV-cache) также квантован до 4 бит, что позволяет работать с контекстом до 16 000 токенов (вместо нативных 256 000).

Общий объем занимаемого места составляет около 5.66 ГБ, что укладывается в доступную память при наличии свободного места на диске.

Производительность и мультитокенное предсказание

Высокая скорость генерации текста (31–39 токенов в секунду) обеспечена использованием головы много-токенного предсказания (MTP) от Qwen3.5. Модель «заглядывает» на два токена вперед, а основной процесс верифицирует их. Это позволяет достигать скорости до 43 токенов/сек при генерации кода. Для сравнения, на PS5 та же архитектура (через llama.cpp) работает иначе, а более крупные модели на PS5 показывают меньшую скорость.

Мультимодальные возможности и сравнение

Garlic LLM поддерживает голосовой ввод и вывод. Для синтеза речи используется модель Chatterbox (7 языков, ~22 токена/сек), а для распознавания речи — Nvidia Parakeet TDT 0.6B v3 (25 европейских языков). Ниже приведено сравнение производительности на разных консолях:

Платформа Модель Параметры Скорость (токенов/сек) Примечание
PS4 (Garlic LLM) Qwen3.5-9B 9 млрд 31–39 (текст), до 43 (код) Прямой доступ к GPU, OpenCL
PS5 (PS5LM) Qwen3.8-27B 27 млрд ~20 Через Vulkan/llama.cpp
PS5 (PS5LM) Gemma 4 E4B 4 млрд 61 Меньшая модель
PS5 (PS5LM) Llama 3.2 3B 3 млрд 124 Самая быстрая на PS5

Установка и требования

Для работы требуется консоль с прошивкой 11.52 и установленным хомбрей-энейблером GoldHEN. Само приложение Garlic LLM не содержит эксплойтов, но требует установки через Package Installer. Размер загрузки — 5.66 ГБ, необходимо около 6 ГБ свободного места (или 12 ГБ, если копировать пакет на диск). Тестирование проводилось на PS4 и PS4 Slim. Поддержка PS4 Pro и PS5 не заявлена, так как код заточен под специфичную архитектуру GPU PS4.

Источник: Tom's Hardware ↗