Что такое PS5LM и почему это прорыв
Проект PS5LM (ps5lm.cobanov.dev) представляет собой портированную версию движка llama.cpp для консолей PlayStation 5. В отличие от предыдущих экспериментов, где GPU-ядра писались вручную под одну модель, PS5LM использует универсальный бэкенд llama.cpp. Это позволяет запускать любые архитектуры (Qwen, Llama, Mistral, Gemma) и квантования от 1-bit до 8-bit, поддерживаемые сообществом.
Ключевая инновация — возможность загрузки GGUF-моделей прямо в браузер консоли через веб-интерфейс. Пользователь может скачать модель, запустить её и начать чат, используя геймпад DualSense. Также доступен доступ к API по протоколу OpenAI на порту 8081.
Технические ограничения и производительность
Основное ограничение текущего этапа (v0.1) — объем памяти, доступной для payload-загрузки без «голодания» системного интерфейса. Ограничение составляет около 1.6 GB выделенной памяти. Это диктует выбор моделей: пока доступны только компактные версии Qwen 3.5.
| Модель | Размер / Квантование | Производительность | Архитектура |
|---|---|---|---|
| Qwen 3.5 | 0.8B (квантована) | 13–21 токенов/с | Hybrid Gated DeltaNet |
| Qwen 3.5 | 2B (квантована) | ~9 токенов/с | Hybrid Gated DeltaNet |
| Qwen 3.8 | 27B (только 2-3 bit) | Информация недостаточна | Hybrid Gated DeltaNet |
Разработчик отмечает, что запуск более крупных моделей (например, Qwen 3.8 27B) требует создания нативного приложения, так как они не помещаются в доступный лимит памяти через payload-механизм.
Требования и установка
Для работы проекта требуется:
- Железо: PS5 с прошивкой от версии 7.00 до 13.60.
- Прошивка: Консоль должна быть jailbroken.
- Загрузчик: Payload Manager (из WebKit Autoloader) или elfldr на порту 9021.
Установка осуществляется через добавление источника https://ps5lm.cobanov.dev/payloads.json в Payload Manager или ручной загрузкой файла ps5lm.elf из релизов GitHub. Модели хранятся в директории /data/PS5LM/models и могут быть загружены через FTP или USB.
Архитектура проекта
Репозиторий включает:
third_party/llama.cpp— upstream-версия движка, зафиксированная как submodule.ps5/compat— эмуляция недостающих функций libc для консоли.patches/— минимальные изменения в исходном коде llama.cpp для работы на PS5.probes/— инструменты для диагностики памяти (memprobe) и потоков (threadprobe).
Проект использует SDK ps5-payload-dev от John Törnblom и опирается на исследования памяти и GPU от проектов PS5SX2, ProsperoAI и PS5_Vulkan. Лицензия кода — GPL-3.0-or-later, llama.cpp остается под MIT.
Источник: Github ↗