Масштаб проблемы: от 1694x до 3777x оверхеда
Анализ текущего состояния ZKP для LLM, проведенный исследователем zraix на базе данных из работы Sun, Li, Zhang (2024), выявил критический разрыв в эффективности. Для моделей размером до 13B (OPT и LLaMA-2) на GPU Nvidia A100 (40GB) время доказательства превышает время прямого прохода (forward pass) в 1694–3777 раз. Хотя для повседневного использования это неприемлемо, в контексте международных соглашений по контролю за ИИ этот показатель сравнивается с альтернативой — «аудиторской средой» (auditing environment), которая требует доверия к оборудованию и создания защищенных помещений.
Детали бенчмарков: почему LLaMA-2 проигрывает OPT?
Тестирование проводилось на моделях OPT и LLaMA-2 с длиной токена 2048. Результаты показывают, что оверхед сильно зависит от оптимизации базового инференса. LLaMA-2 7B демонстрирует более высокий коэффициент оверхеда не из-за сложности доказательства, а из-за того, что сам инференс на оптимизированных трансформерах (с использованием fused SDPA attention) происходит значительно быстрее, чем на OPT (использующем eager attention). Это означает, что для современных frontier-моделей, которые еще более оптимизированы, реальный оверхед ZKP может быть еще выше.
| Модель | Параметры теста | Коэффициент оверхеда (ZKP / Inference) | Примечание |
|---|---|---|---|
| OPT-125M | A100, 2048 токенов | Аномально высокий (выброс) | Не использует полную мощность GPU, искажает метрику |
| OPT-6.7B | A100, 2048 токенов | Базовый уровень | Использует eager attention |
| LLaMA-2 7B | A100, 2048 токенов | Выше, чем у OPT | Использует fused SDPA, что ускоряет инференс, но не доказательство |
Технический тупик: хеш-функции и конечные поля
Главная вычислительная проблема ZKP заключается в несовместимости стандартных хеш-функций (SHA-256, SHA-3) с арифметикой конечных полей, используемых в доказательствах. ZKP оперирует только сложением, умножением и модульной арифметикой. Для симуляции побитовых операций (XOR, AND, сдвиги), необходимых для SHA, требуется разложение битов. Например, одна операция XOR двух 32-битных слов наивно требует 32 операций сложения/умножения, не считая затрат на декомпозицию и рекомпозицию. Современные системы (Plookup, LogUp) снижают эти затраты через таблицы поиска, но SHA-семейство остается узким местом.
Горизонтальные ограничения: память и распределенные вычисления
Существуют и другие барьеры для масштабирования ZKP на модели уровня frontier:
- Память: Модели крупнее 13B требуют больше 40GB VRAM. Доказательство для таких моделей потребует распределенных вычислений, что сейчас не решено эффективно.
- Аппаратное обеспечение: Специализированные GPU для инференса (например, с поддержкой FP8/FP4) ускоряют вычисления, но ZKP не может использовать их неточность. Нужны новые чипы, оптимизированные под арифметику конечных полей.
- Архитектура: Механизмы MoE (Mixture-of-Experts) и другие современные архитектуры требуют дополнительных исследований для интеграции в ZKP-контуры.
Почему это важно?
Цель исследования — определить, когда ZKP станет экономически выгоднее, чем физический аудит. Если ZKP сможет снизить оверхед или если стоимость «аудиторской среды» (защита дата-центров, доверенные вычислительные среды) превысит стоимость вычислений для доказательства, ZKP станет стандартом для верификации ИИ в высокорисковых сферах, таких как международные договоры.
Источник: LessWrong ↗