Решение проблемы резидентности данных
Крупные закрытые модели (frontier models) требуют отправки данных на внешние серверы, что недопустимо для банков и операторов OT-сетей. Aikido Security решила эту проблему, выпустив Altar-1 — модель с открытыми весами, работающую полностью внутри инфраструктуры клиента. Она является основой для автономного устройства пентестирования Aikido Machine и поддерживает сценарии с air-gapped (изолированными) сетями.
Техника сжатия: от 1.5 ТБ к 328 ГБ
Исходная модель GLM-5.3 от Z.AI имеет 753 млрд параметров (MoE) и весит 1.5 ТБ в BF16. Aikido применила двухэтапную компрессию:
- Квантование (AWQ): Веса маршрутизируемых экспертов сжаты до INT4 (W4A16), остальные слои остались в BF16.
- Прунинг экспертов (REAP): Использован алгоритм Cerebras REAP. Из 256 экспертов на слой оставлено 168 (удалено 34.4%). Перетренировка не требовалась.
В результате размер весов сократился на 78.2% по сравнению с оригиналом BF16. Модель сохраняет 8 активных экспертов на токен (~40 млрд параметров).
Сравнение размеров и метрик
| Чекпоинт | Размер весов | Снижение размера |
|---|---|---|
| GLM-5.3 (BF16) | 1,506.7 GB | — |
| GLM-5.3 (AWQ INT4) | 488.2 GB | — |
| Altar-1 (Pruned W4A16) | 328.0 GB | 78.2% (от BF16) |
Результаты на бенчмарке CVE
Тестирование проводилось на внутреннем бенчмарке Aikido, охватывающем 32 известные уязвимости. Altar-1 демонстрирует высокую точность при минимальной потере качества:
| Модель | Средний Recall | Найдено уязвимостей (из 32) |
|---|---|---|
| GLM-5.3 (BF16) | 65.6% | 25 |
| GLM-5.3 (AWQ INT4) | 61.5% | 23 |
| Altar-1 | 60.4% | 23 |
Потеря recall составляет всего 1.1% по сравнению с квантованной версией. При этом модель сохранила 92% покрытия уязвимостей от оригинала BF16. Расхождения с полной версией (KL divergence) составили 0.506 nats.
Требования к железу и лицензия
Altar-1 требует GPU архитектуры Hopper (H100/H200). Оптимальная конфигурация — 1 узел с 4x NVIDIA H200 (80GB). Это позволяет разместить 328 ГБ весов и оставить память для KV-кэша на 128k токенов. Запуск осуществляется через vLLM с автоматическим выбором ядра Marlin MoE.
Лицензия наследует GLM-5.3 License: разрешено коммерческое использование и модификация. Для операторов MaaS с выручкой более $10 млрд за 12 месяцев требуется проверка безопасности от Z.AI. Модель доступна на Hugging Face.
Бенчмарки
| Бенчмарк | Altar-1 | GLM-5.3, AWQ INT4 | GLM-5.3, BF16 |
|---|---|---|---|
| CVE benchmark | 60.4% | 61.5% | 65.6% |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: MarkTechPost ↗