Интеграция Muse-Glimmer 30B
Главное нововведение Lemonade SDK 11.6 — интеграция модели Muse-Glimmer 30B в каталог Llama.cpp. Это 30-миллиардная открытая агентная модель (open agentic model), разработанная исследователями Mesa AI. AMD обеспечила поддержку модели в день её публикации, что позволяет пользователям локально запускать сложные AI-агенты.
Модель поддерживает ключевые функции для автономной работы: draft decoding (ускорение генерации), vision (визуальное понимание) и tool calling (вызов внешних инструментов). Это делает её пригодной для создания локальных рабочих процессов с ИИ-агентами, требующих взаимодействия с внешними системами.
TheNoise и генерация изображений на iGPU
В релиз добавлен экспериментальный бэкенд TheNoise для ROCm, который расширяет возможности генерации изображений на аппаратном обеспечении AMD. Теперь поддерживаются модели Anima и Krea-2. Особое внимание уделено интеграции с интегрированными графическими процессорами (iGPU) на базе архитектур AMD Strix Halo и Strix Point. Это открывает путь к генеративному AI на мобильных и тонких клиентах с гибридной графикой.
Расширение поддержки Instinct
Lemonade SDK 11.6 значительно расширяет круг поддерживаемых серверных GPU. В бэкенде Llama.cpp ROCm теперь «из коробки» работают следующие устаревшие, но всё ещё мощные модели:
| Модель GPU | Архитектура | Статус поддержки |
|---|---|---|
| AMD Instinct MI100 | Sigma | Out-of-the-box |
| AMD Instinct MI200 | Sigma 2 | Out-of-the-box |
| AMD Instinct MI210 | Sigma 2 | Out-of-the-box |
| AMD Instinct MI250 | Sigma 2 | Out-of-the-box |
Утилиты и бенчмарки
Разработчики добавили ряд улучшений для удобства работы:
- Alias sub-command: Позволяет создавать псевдонимы для моделей LLM, используя удобные имена вместо длинных путей к файлам.
- Bench (бенчмарк): Встроенный инструмент тестирования теперь поддерживает опциональные сценарии для мультимодальных моделей, включая тесты на визуальное понимание (vision benchmark scenarios).
Почему это важно
Выпуск Lemonade 11.6 демонстрирует стремление AMD к демократизации локального AI. Поддержка старых серверных GPU (MI100-MI250) позволяет перерабатывать утилизированное оборудование для задач LLM, а интеграция Muse-Glimmer 30B и TheNoise на iGPU делает продвинутый AI доступным на потребительском оборудовании без необходимости в мощных дискретных видеокартах.
Источник: Phoronix ↗