Прорыв в энергоэффективности и отказ от HBM
Компания Axelera AI представила архитектуру третьего поколения Titania, спроектированную специально для задач инференса больших языковых моделей (LLM). Ключевое отличие решения — использование стандартизированной памяти LPDDR6 вместо дефицитной и энергозатратной HBM. Это позволяет снизить стоимость владения (TCO) до 20 раз и избежать зависимости от цепочек поставок высокопроизводительной памяти.
Архитектура базируется на технологии Digital In-Memory Computing (D-IMC), которая обеспечивает перемещение данных с эффективностью 88% (по данным предыдущего поколения Europa). Titania использует чиплетный дизайн (SiP), где два чипета упакованы в один пакет, что повышает масштабируемость и надежность.
Технические характеристики и производительность
Titania позиционируется как решение для «интерактивного» инференса, способное работать в существующих дата-центрах с воздушным охлаждением. Референсный сервер AX8 (8 ускорителей) обеспечивает 20 PFLOPS вычислений FP8 и 1 ТБ памяти ускорителя, потребляя всего 5–6 кВт.
| Параметр | Titania (Axelera AI) | Конкуренты (GPU-сегмент) |
|---|---|---|
| Тип памяти | LPDDR6 (128 ГБ на пакет) | HBM3/HBM3e (дефицит, высокая цена) |
| Энергоэффективность | До 7x выше, чем у лучших серверов | Низкая (требуются стойки >100 кВт) |
| Охлаждение | Воздушное (стандартные стойки 15–30 кВт) | Часто жидкостное (liquid-cooled racks) |
| Модель в 1.6 трлн параметров | 1 сервер на FP4 с запасом под KV-cache | Требует нескольких серверов/стоек |
| Совместимость ПО | Voyager SDK, AxScript (обратная совместимость с Europa) | Зависит от проприетарных стеков (CUDA и др.) |
Практическое применение: одна стойка — одна модель
Один сервер на базе Titania способен развернуть модель на 1.6 триллиона параметров в формате FP4, оставляя ресурсы для кэширования ключей и значений (KV cache). Это означает, что две такие машины помещаются в стандартную стойку мощностью 15 кВт, а пять — в 30 кВт. Для сравнения, аналогичные задачи на базе современных GPU часто требуют специализированных стоек с жидкостным охлаждением мощностью более 100 кВт.
Архитектура также поддерживает аппаратное декодирование видео 8K (H.265/AV1), что позволяет обрабатывать мультимодальные задачи (язык, зрение, аудио) на одной карте, снимая нагрузку с CPU.
Планы выпуска и поддержка
Производство Titania начнется в III квартале 2027 года. Компания уже получила подтвержденные обязательства на сумму более $300 млн. Программная платформа Voyager SDK обеспечивает обратную совместимость: модели, развернутые на предыдущем поколении Europa, смогут мигрировать на Titania в 2028 году без переписывания кода. Архитектура разработана в Европе при поддержке инициативы EuroHPC DARE.
Источник: TechPowerUp ↗
