Локальный AI-агент без облака: анонс GELIX 1 и Agent Box
Компания Acrab представила свое первое поколение систем-на-кристалле (SoC) для граничных вычислений — GELIX 1, а также готовое устройство на его базе — Agent Box. Это решение направлено на смещение фокуса с генерации ответов на выполнение задач (Agentic AI) за счет локальной обработки данных. Ключевая идея: пользовательские данные, память и контекст остаются на устройстве, что исключает зависимость от облачных тарификаций и обеспечивает мгновенный отклик даже при отсутствии интернета.
Железо: 5 нм, 273 ГБ/с и 20 ядер CPU
GELIX 1 построен по 5-нанометровому техпроцессу и объединяет CPU, GPU и NPU в единой архитектуре с общим пулом памяти. Это критически важно для моделей большого размера, которым требуется высокая пропускная способность памяти. Основные спецификации чипа:
- Процесс: 5 нм
- Центральный процессор: 20 ядер Arm CPU
- Ускорение: Многоядерный NPU
- Пропускная способность памяти: 273 ГБ/с
- Поддержка моделей: до 100 миллиардов параметров (локально)
Бенчмарки: разрыв с Apple M4 Pro
Самое впечатляющее достижение Acrab — скорость префиллинга (prefill rate), то есть время, необходимое модели для анализа входного промпта перед генерацией ответа. В тестах с моделью Gemma 2.0 26B A4B (контекст 40K KV cache, вход 10K токенов) GELIX 1 показал результат 1416.8 токенов в секунду. Для сравнения, на Mac Mini с чипом M4 Pro тот же процесс занял 188.9 токенов в секунду.
| Метрика / Устройство | Результат (токенов/сек) | Примечание |
|---|---|---|
| Acrab GELIX 1 (Gemma 26B) | 1416.8 | Контекст 40K, вход 10K токенов |
| Apple Mac Mini M4 Pro | 188.9 | Базовое сравнение |
| Прирост производительности | ~7.5x | По скорости префиллинга |
Agent Box: «Центр интеллекта» для дома и офиса
Устройство Agent Box позиционируется не как ПК, а как персональный AI-центр. Оно обеспечивает:
- Локальный инференс языковых и зрительных моделей.
- Мультимодальное взаимодействие (голос, текст, видео).
- Постоянную память (persistent memory), которая накапливает контекст и предпочтения пользователя.
- Оркестрацию агентов: разбиение сложных задач на шаги и управление подключенными устройствами.
Это позволяет уйти от модели «оплата за токен» к единовременной покупке оборудования, что делает AI-ассистента всегда доступным инструментом, а не сервисом с лимитами.
Экосистема и будущее
Acrab планирует лицензировать платформу GELIX и программное обеспечение (включая агентскую ОС и тулчейн) для производителей устройств. Ожидается появление AI-NAS, AI-ПК, умных автомобилей и промышленных роботов на базе этого чипа. Цель компании — создать горизонтальную вычислительную основу для агентного AI, где обработка происходит локально, а облако используется только для сложных задач, требующих дополнительных ресурсов.
Источник: TechPowerUp ↗