Решение проблемы «AI memory wall»
Компания Penguin Solutions (Nasdaq: PENG) представила MemoryAI Photonic Appliance, первое в отрасли устройство, использующее кремниевую фотонику (SiPh) для предоставления памяти класса HBM. Главная цель продукта — преодоление ограничений пропускной способности памяти, которые становятся узким местом при запуске агентных AI-нагрузок (agentic AI). Традиционные решения HBM ограничены в емкости из-за необходимости размещения чипов памяти в непосредственной близости (в пределах миллиметров) от GPU, что приводит к недоиспользованию вычислительных ресурсов.
Технические характеристики и архитектура
Устройство использует технологию Marvell Photonic Fabric для создания оптической сети памяти. Это позволяет GPU и CPU прозрачно разделять память на расстоянии в метрах, а не миллиметрах, сохраняя при этом высокую пропускную способность. Система поддерживает три режима доступа к пулу памяти, что обеспечивает гибкость в распределении ресурсов.
| Параметр | Значение / Характеристика |
|---|---|
| Общая пропускная способность | 57,6 Тбит/с |
| Емкость DDR5 памяти | до 16 ТБ (RDIMM) |
| Емкость HBM3E памяти | 576 ГБ |
| Интерфейс подключения | CXL 3.0, Marvell Photonic NIC |
| Режимы доступа | HBM Direct, HBM-DDR5 Cached, DDR5 Direct |
Интеграция в инфраструктуру AI
MemoryAI Photonic Appliance является частью платформы MemoryAI Platform Architecture. Она работает в связке с MemoryAI KV Cache Server (для выгрузки KV-кэша) и картами SMART CXL (для расширения памяти CPU). Такое решение позволяет разгрузить GPU-прикрепленную HBM, оставляя ее для генерации токенов, в то время как повторно используемые данные кэшируются во внешнем фотонном пуле. Это повышает экономическую эффективность инференса и качество генерации токенов.
Доступность и сроки
Устройство демонстрируется на конференции SC26 в Чикаго. Поставки образцов для избранных клиентов запланированы на вторую половину 2027 года. По словам представителей Penguin Solutions и Marvell, фотоника становится ключевым фактором для масштабирования AI-инференса, обеспечивая прямой доступ к памяти без необходимости копирования данных или использования специализированных драйверов.
Источник: TechPowerUp ↗
