От мегаватт к токенам: новая парадигма эффективности
В августе в Кремниевой долине состоялся успешный пилотный проект между NVIDIA, партнером Emerald AI и локальной энергосетью Silicon Valley Power. Система Conductor от Emerald AI, интегрированная с решениями NVIDIA, автоматически реагировала на сигналы сети, снижая потребление AI-фабрики с 4 до 3 мегаватт. Ключевой момент: критически важные задачи (инференс) продолжали работать без прерываний, а низкоприоритетные вычисления были приостановлены или перенесены. С тех пор система обработала более 200 сигналов без единого сбоя.
Результаты валидации от Lambda
На конференции AI Infra Summit вице-президент NVIDIA Иэн Бак представил данные, подтверждающие эффективность подхода. В ходе тестов с облачным провайдером Lambda было доказано, что интеллектуальное управление фиксированным энергетическим бюджетом позволяет увеличить пропускную способность (token throughput) на 24%. Это означает, что компании могут получить больше вычислительной мощности, не расширяя физическую инфраструктуру или не ожидая прокладки новых линий электропередач.
Архитектура NVIDIA DSX
Платформа NVIDIA Data Center Software (DSX) состоит из нескольких модулей, каждый из которых решает конкретную проблему инфраструктуры:
| Компонент | Функция |
|---|---|
| DSX MaxLPS | Динамическое распределение питания в реальном времени. Восстанавливает «застрявшие» мощности для максимизации токенов в рамках фиксированного лимита. |
| DSX Flex | Интеграция с сетью: прием сигналов (снижение нагрузки, ценовые события) и адаптация приоритетов задач AI. |
| DSX OS | Открытая модульная система для управления жизненным циклом фабрики, обеспечения консистентности среды и автоматического здоровья. |
| DSX Sim | Инструменты моделирования для проверки проектов до физического развертывания, выявление узких мест. |
| Reference Designs | Валидированные архитектуры для конкретных поколений чипов, разработанные совместно с партнерами. |
Почему это важно для отрасли
Энергия становится главным ограничителем роста AI-индустрии. Как отметил Дэвид Уорд, президент Lambda, переход от фиксированных бюджетов к динамическому управлению позволяет конвертировать «застрявшие» мощности в реальную вычислительную плотность. Это критически важно для США, где строительство новых трансмиссионных линий занимает годы, а спрос на AI-вычисления растет экспоненциально. Решение NVIDIA позволяет извлекать максимум из уже существующей инфраструктуры.
Источник: NVIDIA Blog ↗