Новый стандарт для edge-вычислений
Компания LattePanda официально представила модуль LattePanda Mu Ultra, разработанный специально для развертывания искусственного интеллекта непосредственно на устройствах (on-device AI). В основе решения лежат процессоры Intel Core Ultra 5 226V и Ultra 7 256V (архитектура Arrow Lake). Модуль объединяет вычислительные мощности CPU, GPU и NPU, обеспечивая суммарную производительность до 115 TOPS (INT8) для задач машинного обучения.
Ключевая особенность — компактный форм-фактор размером всего 69.6 × 60 мм. Это позволяет интегрировать мощные x86-вычисления в устройства с жесткими ограничениями по пространству: от портативных диагностических приборов до автономных мобильных роботов (AMR) и умных камер.
Производительность локальных LLM
LattePanda демонстрирует способность модуля запускать большие языковые модели без обращения к облаку. В тестах с использованием фреймворка OpenVINO GenAI и квантования INT4 на встроенной графике Intel Arc были достигнуты следующие результаты генерации текста:
| Модель | Скорость генерации | Условия теста |
|---|---|---|
| Qwen3.5-9B | 18 токенов/с | INT4, OpenVINO GenAI |
| Qwen3.5-2B | 55 токенов/с | INT4, OpenVINO GenAI |
Такая производительность делает модуль пригодным для создания локальных голосовых ассистентов, систем обработки документов и приватных баз знаний, где задержка и конфиденциальность данных критичны.
Память и энергоэффективность
Модуль оснащен 16 ГБ высокоскоростной памяти LPDDR5X-8533. Архитектура позволяет выделить до 11.6 ГБ под видеопамять (VRAM) для хранения KV-cache больших моделей, что существенно расширяет возможности работы с контекстом. При этом энергопотребление в режиме простоя составляет всего 2.5 Вт, что открывает возможности для использования в портативных и всегда включенных устройствах.
Совместимость и цена
LattePanda Mu Ultra сохраняет совместимость с существующими платами расширения (carrier boards) семейства Mu, такими как 3.5-inch Lite Carrier Board и M.2 M Key Carrier Board. Это позволяет инженерам и OEM-производителям внедрять AI в существующие x86-системы без полной переработки аппаратной платформы. Поддерживаются ОС Windows и Linux, а также популярные фреймворки: Intel OpenVINO, llama.cpp и Ollama.
Модуль уже доступен в официальном магазине LattePanda. Стартовая цена составляет $599 за версию на базе Intel Core Ultra 5 с 16 ГБ памяти.
Источник: TechPowerUp ↗