Anthropic представила FlashProve, открытый исследовательский прототип для доказуемого инференса (provable inference). Это система на базе zkSNARK, которая позволяет пользователю криптографически подтвердить, что ответ был сгенерирован именно той моделью, чьи веса были зафиксированы (committed), не раскрывая при этом сами веса. Решение закрывает критическую проблему доверия в API: сегодня клиент не может быть уверен, что ему не подменили модель на более дешевую или скомпрометированную.
01Как работает FlashProve: архитектура и требования
Система состоит из двух сторон: Prover (провайдер модели) и Verifier (пользователь). Процесс разделен на две фазы:
- Offline (Оффлайн): Провайдер публикует криптографическое обязательство (commitment) — короткий отпечаток, связывающий конкретный набор весов. Этот этап занимает около 39 минут и покрывает до 16 миллионов запросов.
- Online (Онлайн): Для каждого запроса GPU генерирует доказательство того, что именно зафиксированная модель произвела токены. Размер доказательства составляет 18.78 МБ.
Ключевая инженерная особенность: вычисления масштабируются не со всеми 400B параметров Llama 4 Maverick, а только с ~17B активных параметров (так как это MoE-модель). Веса потоково передаются из памяти хоста, что позволяет использовать одну видеокарту H100 80GB.
02Производительность и бенчмарки
Тестирование проводилось на публичных весах Llama 4 Maverick (4-bit) в конфигурации 1x H100 + 24 CPU cores. Результаты демонстрируют значительный прогресс по сравнению с другими zkML-системами, хотя и уступают чистому инференсу.
| Метрика | Значение | Примечание |
|---|---|---|
| Пропускная способность (Batch 24) | ~111.23 токенов/с | ~221-226 сек на батч |
| Пропускная способность (Batch 1) | 17.41 токенов/с | Для одиночных запросов |
| Пропускная способность (Batch 64) | 123.31 токенов/с | Отмечено как ненадежное на 80GB картах |
| Время верификации (24 потока) | 17 секунд | На CPU |
| Время верификации (1 поток) | 21 секунда | На CPU |
Для сравнения: при запуске vLLM с FP8 Maverick на 8 H100, затраты GPU-времени на доказательство в 72 раза превышают затраты на обычный инференс. При максимальной нагрузке vLLM разрыв достигает 95 раз.
03Сравнение с другими zkML-системами
FlashProve значительно опережает конкурентов по скорости инференса для больших MoE-моделей, хотя и проигрывает в размере доказательства некоторым легковесным решениям.
| Система | Модель | Пропускная способность | Размер доказательства | Время верификации |
|---|---|---|---|---|
| FlashProve | Llama 4 Maverick (400B MoE) | ~110 tok/s | 18.78 MB | 17 s (24 threads) |
| Attestable | Gemma 4 31B (dense) | 53-77 tok/s | 4.35-7.92 MiB | 157-648 ms |
| VerInf | Llama 4 Maverick (400B MoE) | ~0.02 tok/s | 93.6 GB | 17.7 h (20 cores) |
| DeepProve | GPT-2, Gemma 3 | ~2.9 tok/s (GPT-2) | Не раскрыто | 1-3.7 s |
FlashProve использует хэш-функции для преобразования интерактивного оракульного доказательства в криптографическое, что обеспечивает безопасность, устойчивую к квантовым вычислениям (post-quantum security). Аналогичный подход используется в L2-сетях валидности, таких как Starknet.
04Безопасность и формальная верификация
Anthropic формализовала протокол в языке Lean, доказав полноту, звуковость и нулевое разглашение знаний. Вероятность того, что обманущий провайдер будет обнаружен, составляет примерно q/2^124 + 2^-101.
В репозитории поставляются два верификатора:
- C++ верификатор: Быстрый, предназначен для повседневного использования, но не имеет формального математического доказательства корректности.
- Lean верификатор: Медленнее, но строго следует теореме о звуковости.
Команда отмечает, что Claude активно помогал в оптимизации системы.
05Кому подойдёт / что запустится
FlashProve — это не решение для массового чат-бота, а инфраструктурный инструмент для обеспечения доверия. Он подойдет регуляторам, лабораториям и enterprise-клиентам, которым критически важно:
- Подтвердить, что инференс идет на заявленном оборудовании (для соблюдения правил AI pacing).
- Обнаружить подмену модели или атаку на поток токенов.
- Гарантировать происхождение текста (provenance) для юридических или научных целей.
Для запуска потребуется серьезная инфраструктура: сервер с H100 80GB и большим объемом RAM. Обычные пользователи могут использовать только верификатор на CPU, скачав клиентский ключ (~6.5 МБ) один раз.
# Пример установки зависимостей (концептуально, требуется сборка из исходников)
# Требуется наличие CUDA, Lean и специфичных библиотек zkSNARK
pip install -r requirements.txt
cmake -B build -DCMAKE_BUILD_TYPE=Release
make -C buildРепозиторий доступен по лицензии Apache 2.0. Это первый шаг к созданию "доказуемого интернета" для AI, где каждый ответ можно криптографически проверить.
Источник: MarkTechPost ↗