Проблема доверия в API-инференсе
Сегодня пользователь, отправляющий запрос к LLM через API, не может технически проверить, какая именно модель обработала запрос. Промежуточные сервисы роутинга могут подменять дорогие модели на более дешевые, а злоумышленники — внедрять вредоносные токены в поток. Качество вывода (output quality) не является надежным индикатором, так как даже слабые модели могут генерировать правдоподобный текст. FlashProve решает эту проблему, предоставляя криптографическое доказательство того, что ответ был сгенерирован моделью с зафиксированными весами (committed weights), не раскрывая при этом сами веса.
Технические характеристики и производительность
Система протестирована на публичной версии модели Llama 4 Maverick (400B параметров, архитектура MoE, ~17B активных параметров на токен). Ключевая особенность — работа в два этапа: офлайн-коммитмент (39 минут на 16 млн запросов) и онлайн-генерация доказательств. Проводеру (провайдеру) требуется одна видеокарта NVIDIA H100 80GB, 24 ядра CPU и ~290 ГБ оперативной памяти. Верификатору (пользователю) достаточно обычного CPU.
Ниже приведено сравнение производительности FlashProve с другими известными системами zkML (Zero-Knowledge Machine Learning) на базе аналогичных или меньших моделей:
| Метрика | FlashProve (Anthropic) | Attestable | DeepProve | zkLLM |
|---|---|---|---|---|
| Модель | Llama 4 Maverick (400B MoE) | Gemma 4 31B (dense) | Llama 4 Maverick (400B MoE) | GPT-2, Gemma 3, LLaMA-2-13B |
| Пропускная способность | ~110 токенов/сек (батч 24) | 53–77 токенов/сек | ~0.02 токена/сек | 1.4–2.9 токена/сек |
| Время полного инференса | Менее 15 минут | Не указано | 14.3 часа (1000 токенов) | Не указано |
| Размер доказательства | 18.78 MB | 4.35–7.92 MiB | 93.6 GB | Не раскрыто / <200 kB |
| Время верификации | 17 секунд (24 потока) | 157–648 мс | 17.7 часов (20 ядер) | 1–3.7 секунды |
| Лицензия/Код | Open Source (Apache 2.0) | Закрыто | Open Source (MIT) | Open Source (CCS 2024) |
Инженерные решения для скорости
FlashProve демонстрирует порядок величины превосходства над предыдущими open-source решениями благодаря трем ключевым оптимизациям:
- Масштабирование по активным параметрам: Вычисления идут только по ~17B активных параметров MoE-модели, а не по всем 400B.
- Пакетная обработка: Запросы доказываются батчами «задним числом» (post-facto), аналогично фазе prefill в vLLM, что позволяет достичь 111.23 токенов/сек на батче из 24 запросов.
- Потоковая передача весов: Веса загружаются из памяти хоста, что позволяет использовать одну видеокарту H100 80GB вместо кластеров.
Безопасность и стоимость
Протокол формализован в языке Lean, доказывая полноту, звуковость и нулевое разглашение. Вероятность обмана провайдером составляет не более $q/2^{124} + 2^{-101}$. Система использует zkSNARK, обеспечивающие постквантовую безопасность (семейство алгоритмов Starknet).
Однако цена этого доверия высока: генерация доказательства обходится в 70–95 раз дороже времени GPU, необходимого для обычного инференса через vLLM (FP8). Это делает FlashProve пока скорее исследовательским прототипом для регуляторов и высоконагруженных корпоративных сред, где критична аудитория, а не стоимость inference.
Источник: MarkTechPost ↗