От payload к нативному приложению
Ранее неофициальный порт llama.cpp от пользователя cobanov работал как payload (вспомогательная программа), загружаясь вместе с домашним экраном. Это ограничивало доступную память ~6.25 ГБ и нагружало только CPU, что приводило к зависаниям при запуске тяжелых моделей. Разработчик u/AdIllustrious7246 создал форк PS5LM, который запускается как нативное приложение, полностью обходя эти ограничения.
Доступ к GPU и памяти
Ключевым прорывом стала интеграция с PS5_Vulkan — портом графического драйвера RADV. Это позволило использовать вычислительную мощность GPU AMD RDNA 2, которая изначально была заблокирована для разработчиков. Кроме того, теперь доступно до 11.4 ГБ ОЗУ (вместо 6 ГБ), что критически важно для загрузки больших языковых моделей (LLM).
Производительность: цифры и бенчмарки
Переход на GPU-вычисления и увеличение объема памяти позволили достичь впечатляющих скоростей генерации токенов. Ниже приведены результаты тестов на взломанной PS5:
| Модель | Параметры | Скорость (токенов/с) | Примечание |
|---|---|---|---|
| Qwen 2.5 (или аналог 27B) | 27B | ~20 | Тяжелая модель, ранее вызывала сбой |
| Gemma 2 | 4B (E4B) | 61 | Оптимальный баланс |
| Llama 3.2 | 3B | 124 | Максимальная скорость |
Интерфейс и совместимость
Разработчик добавил встроенную панель мониторинга, отображающую в реальном времени: скорость генерации, загрузку CPU/GPU, энергопотребление, температуры и распределение памяти между моделью и KV-кэшем. Также реализована совместимость с веб-интерфейсом llama.cpp, позволяющая управлять моделью с других устройств через браузер.
Почему это важно
Хотя PS5 не заменит серверные GPU для обучения моделей, этот проект демонстрирует потенциал консолей как локальных AI-ассистентов. В отличие от майнинга криптовалют, нагрузка от LLM носит эпизодический характер, что снижает риски для оборудования. Однако проект требует взломанной консоли (jailbreak), что ограничивает его массовое распространение.
Источник: Tom's Hardware ↗