Локальный дата-центр: что изменилось
Обычно модели размером 321 миллиард параметров требуют кластеров GPU для инференса. Проект Project Maya (на базе движка Strata) решил эту проблему, создав кастомный квантованный движок. Он динамически распределяет «экспертов» (экспертные слои MoE-архитектуры): наиболее активные остаются в VRAM, следующие — в оперативной памяти (RAM), а остальные хранятся на NVMe SSD, подгружаясь по мере необходимости.
Это решение позволяет запускать GLM-5.3-Flash (лицензия MIT, разработчик zai-org) на домашнем железе. Архитектура использует 18 млрд активных параметров на токен и поддерживает контекстное окно до 1 миллиона токенов. Все данные остаются на вашем устройстве, обеспечивая полную приватность.
Производительность: реальные цифры
Скорость инференса зависит от конфигурации железа. Движок автоматически калибруется под ваши ресурсы. Ниже приведены замеры реальных пользователей с использованием команды ./maya.sh --bench:
| Конфигурация | Модель | Decode (генерация) | Prefill (анализ промпта) |
|---|---|---|---|
| 4x RTX 4090 (24GB) | Maya-S24 | 118 токенов/с | 4129 токенов/с |
| RTX 5090 (32GB) | Maya-M | 30+ токенов/с | ~2000 токенов/с |
| 2x NVIDIA CMP 170HX (64GB) | Maya-M | 61.3 токенов/с | 514 токенов/с |
| RTX 4090 (24GB) + Ryzen 9 9950X3D | Maya-L | 16.4 токенов/с | 1371 токенов/с |
| AMD Radeon 8060S (Windows 11) | Maya-S | 18.3 токенов/с | 320 токенов/с |
Варианты квантования и точность
Проект предлагает несколько версий квантованной модели, оптимизированных под объем памяти. Потеря точности минимальна по сравнению с оригинальной FP8-версией:
| Версия | Размер | Точность (Zero-shot) | Совпадение следующего токена |
|---|---|---|---|
| Maya-S (default) | 96.5 GB | 97.9% | 83% |
| Maya-S24 | 94.7 GB | 97.7% | 83% |
| Maya-M | 116 GB | 97.9% | 86% |
| Maya-L | 156.3 GB | 99.2% | 90% |
Интеграция и системные требования
Project Maya предоставляет API, совместимый с OpenAI и Anthropic, что позволяет использовать модель с coding-агентами (например, Claude Code) и другими инструментами. Поддерживается работа с изображениями и настройка уровня «размышлений» (Thinking levels: Off, Low, High, Max).
Минимальные требования:
- GPU: NVIDIA с вычислительной способностью 7.0+ (V100, RTX 20/30/40/50). Экспериментальная поддержка AMD (RX 7900/8000 серии) через ROCm.
- RAM: от 32 ГБ (больше — лучше для скорости).
- Диск: Быстрый NVMe SSD (~100-160 ГБ под модель).
- OS: Linux (рекомендуется) или Windows 10/11 (экспериментально, не через WSL2).
Установка осуществляется через скрипт ./setup.sh, который автоматически определяет железо и предлагает оптимальную конфигурацию. Панель управления доступна локально по адресу http://127.0.0.1:8080.
Источник: Github ↗