Суть взлома: отключение искусственных ограничений
Группа моддеров представила два независимых проекта, позволяющих обойти программные блокировки в прошивках NVIDIA. Оказалось, что потребительские чипы GA102, GA103, GA104, GA106 (Ampere) и AD102, AD103, AD106 (Ada Lovelace) имеют тот же кремний, что и профессиональные RTX-карты, но их вычислительный потенциал ограничен стеком прошивок. Разблокировка позволяет увеличить скорость выдачи инструкций до уровня профессиональных аналогов, не требуя замены оборудования.
Результаты на NVIDIA RTX 30 Series (Ampere)
Для архитектуры Ampere модификация удваивает скорость выполнения операций FP/BF16 FMA в FP32. Это критически важно для нейросетей, использующих смешанную точность. На примере GeForce RTX 3090 Ti зафиксировано ускорение умножения матриц в BF16 на 80%, что напрямую влияет на скорость работы локальных LLM.
Результаты на NVIDIA RTX 40 Series (Ada Lovelace)
Самые впечатляющие цифры получены на базе AD102. Разблокировка удваивает пропускную способность тензорных ядер для FP16 и BF16 с накоплением в FP32. Тестирование на GeForce RTX 4090 показало рост производительности с 165,6 терафлопс до 331,6 терафлопс. Эти показатели сопоставимы с профессиональной картой NVIDIA RTX 6000 Ada Lovelace, которая стоит значительно дороже.
| Модель GPU | Архитектура | Базовая производительность (TFLOPS) | После разблокировки (TFLOPS) | Прирост |
|---|---|---|---|---|
| GeForce RTX 3090 Ti | Ampere (GA102) | Информация недостаточна | Информация недостаточна | До +80% (BF16 MatMul) |
| GeForce RTX 4090 | Ada Lovelace (AD102) | 165.6 | 331.6 | 2x (FP16/BF16 Tensor) |
Технические детали и совместимость
Оба метода успешно проходят проверки драйверов NVIDIA. Модификация переопределяет сброс уровня функции PCIe (FLR) и работает со штатными драйверами. Тесты CUDA выполняются в штатном режиме. Важно отметить, что энергопотребление плат (TGP 450 Вт для GA102 и AD102) остается неизменным до и после разблокировки. Однако модификация должна быть активирована при загрузке системы, чтобы привязаться к ядру раньше, чем это сделают драйверы NVIDIA.
Влияние на пользователей ИИ
Главный бенефициар — пользователи локальных больших языковых моделей (LLM). Увеличение вычислительной мощности приводит к значительному росту пропускной способности токенов как на этапе префилла (prefill), так и на этапе декодирования (decode). На данный момент решения протестированы преимущественно в среде Linux, что ограничивает их доступность для массового пользователя Windows, хотя сообщество уже работает над портированием.
Источник: TechPowerUp ↗