Marvell представила CXL 3.2 контроллеры для ИИ: 6 каналов и сжатие данных

Решение проблемы «узкого горлышка» памяти в ИИ

Крупнейшие модели больших языковых моделей (LLM) и рекомендательные системы (DLRM) упираются в ограничения пропускной способности и объема памяти. Marvell Technology представила второе поколение контроллеров расширения памяти Structera X 3406 и Structera X 3506, которые используют стандарт CXL 3.2. Главная инновация — впервые в индустрии реализовано шесть каналов памяти, что на 50% больше, чем в предыдущем поколении (2404/2504).

Технические характеристики и производительность

Новые чипы обеспечивают прямое подключение до четырех хостов через интерфейс PCIe 6.0 x16 с пропускной способностью до 256 ГБ/с. Ключевым преимуществом для ИИ-инференса стала встроенная функция сжатия данных: пропускная способность алгоритма LZ4 выросла в 5 раз, достигнув 250 ГБ/с. Это позволяет увеличить эффективный объем доступной памяти в 2-3 раза без покупки дополнительного оборудования.

Результаты бенчмарков: скорость и контекст

Для разработчиков ИИ-инфраструктуры цифры говорят сами за себя. При запуске LLM-сервисов новые контроллеры обеспечивают ускорение Time To First Token (TTFT) на 40-50% при той же длине контекста. Альтернативно, при фиксированной задержке система поддерживает контекстное окно в 2 раза длиннее, чем решения предыдущего поколения. В задачах DLRM (глубокое обучение рекомендательных моделей) производительность возрастает до 2x запросов в секунду.

Безопасность и экосистема

Контроллеры оснащены системой StructGuard для коррекции ошибок и поддержкой постквантовой криптографии (Caliptra 2.0, AES-256). Поставки образцов запланированы на I квартал 2027 года. Поддержку чипов уже анонсировали AMD, Arm, Samsung и SK Hynix, что гарантирует совместимость с современными серверными платформами.

Источник: TechPowerUp ↗