Суть стратегии: Инференс против Тренировки
Анализ плана A (AIFP) фокусируется на инференс-верификации: обеспечении того, чтобы вычислительные мощности использовались только для вывода моделей (инференса), а не для их дообучения. Ключевая метрика успеха — замедление процесса обучения в 1000 раз при минимальных накладных расходах на инференс. Оптимистичная оценка AIFP предполагает, что это позволит держать долю неконтролируемых вычислений на уровне 0,1%.
Интерконнект: Убийство бэкэнда
Предлагается физическое удаление бэкэнд-сети (передача градиентов) и жесткое ограничение пропускной способности фронтэнд-сети до 10 МБ/с на стойку. Этого достаточно для передачи токенов, но делает передачу градиентов для модели в 1 триллион параметров (fp8) невозможной в разумные сроки — обновление займет около суток.
| Метрика | Значение / Оценка | Комментарий |
|---|---|---|
| Пропускная способность фронтэнда (лимит) | 10 MB/s | Достаточно для инференса, критично для обучения |
| Пропускная способность бэкэнда (ChatGPT) | ~4 TB/s | Предлагается к полному удалению |
| Пропускная способность фронтэнда (ChatGPT) | ~1 TB/s | Существенное сужение канала |
| Время обновления градиентов (1T params, fp8) | ~1 день | При лимите 10 MB/s |
Атака через низкую коммуникацию (DiLoCo/SparseLoCo)
Основная угроза — алгоритмы типа SparseLoCo, где стойки обучают реплики модели локально, синхронизируя обновления редко. Пример: Covenant-72B использовал сжатие в 146 раз каждые 30 шагов. Однако масштабирование на триллионные модели с тысячами стоек может привести к задержкам в 10x (50 минут передачи на 5 минут вычислений). Точная эффективность таких методов на фронтьер-масштабах остается открытым вопросом (OQ1).
Очистка памяти: Теория vs Реальность
Для предотвращения накопления градиентов предлагается периодическая проверяемая очистка памяти (memory wipes). Теоретически, если очищать память чаще раза в день, злоумышленник не успеет накопить данные для обновления. Однако тесты Amodo Design выявили критический провал: проверяемая очистка занимает ~24 часа и оставляет более 100 ТБ неочищенной памяти. Это делает текущий метод непригодным для инференса из-за огромных накладных расходов.
Сетевые снифферы и Replay
Метод перехвата трафика (taps) с последующей пересылкой на replay-сервер для верификации корректности вывода. Эффективность зависит от доверия к оборудованию replay-сервера. Если сервер доверен верификатором, он может точно проверить, выполняется ли инференс или тренировка. Однако этот метод требует сложного разделения трафика и не решает проблему скрытой локальной тренировки без сетевого обмена.
Итог: Открытые вопросы
Статья выделяет три критических пробела, требующих исследований:
- OQ1: Насколько эффективны алгоритмы низкой коммуникации (DiLoCo) на масштабе в тысячи стоек?
- OQ2: Как ограничения пропускной способности повлияют на генерацию видео (высокий эгресс)?
- OQ3: Как ускорить проверяемую очистку памяти, чтобы избежать 24-часовых простоев и остаточных данных?
Источник: LessWrong ↗