Суть технологии: Near-GPU NAND
Micron исследует архитектуру, при которой модули NAND-памяти размещаются непосредственно на печатной плате или в пакете GPU, а не в удаленном хранилище. Эта концепция, получившая название "near-GPU NAND", призвана стать связующим звеном между дорогой и быстрой HBM/DRAM и медленной, но емкой обычной флеш-памятью. Ключевая цель — обеспечить GPU доступ к пулу памяти объемом в сотни гигабайт с низкой задержкой чтения, что критически важно для инференса (вывода) больших языковых моделей (LLM).
Почему это важно для ИИ
Современные LLM требуют огромных объемов памяти для хранения весов моделей. Использование только HBM делает такие системы экстремально дорогими. Новая архитектура позволяет:
- Снизить зависимость от GPU: Системы смогут запускать более крупные модели, используя меньше видеокарт, но компенсируя это объемом быстрого кэширующего слоя.
- Оптимизировать затраты: Near-GPU NAND будет значительно дешевле HBM и DRAM, предлагая компромисс между плотностью хранения и скоростью I/O.
- Ускорить инференс: Память будет работать как очень быстрый буфер, улучшая пропускную способность и время отклика по сравнению с традиционными SSD.
Конкуренты и стандарты
Micron не единственная компания, работающая в этом направлении. Индустрия уже движется к стандартизации High-Bandwidth Flash (HBF). Как сообщается, SK hynix и Sandisk уже стандартизировали эту концепцию. Главная задача для всех участников рынка — преодолеть разрыв в пропускной способности и долговечности, чтобы HBF стала полноценным дополнением, а не узким местом в связке с HBM.
Сравнение подходов к памяти GPU
| Тип памяти | Расположение | Скорость/Задержка | Стоимость | Основное назначение |
|---|---|---|---|---|
| HBM / GDDR7 | На чипе GPU | Максимальная / Низкая | Очень высокая | Вычисления, активные данные |
| Near-GPU NAND (HBF) | Рядом с GPU (PCB/Package) | Высокая (для NAND) / Средняя | Средняя | Кэширование весов LLM, быстрый буфер |
| Традиционная NAND (TLC/QLC) | В хранилище (PCIe/NVMe) | Низкая / Высокая | Низкая | Постоянное хранение данных, ОС |
Перспективы
Если технология Near-GPU NAND будет успешно реализована, это изменит экономику развертывания ИИ. Вместо покупки десятков дорогих GPU с огромным объемом HBM, компании смогут использовать более доступные решения с расширенным слоем быстрой флеш-памяти. Это также открывает возможности для оптимизации баз данных и других приложений, требующих быстрого доступа к большим объемам данных, как отмечают пользователи в обсуждениях технологии.
Источник: TechPowerUp ↗