Проблема: голосовой AI в условиях отсутствия сети
Проект Offline AI Modules (авторы: Sunday Afariogun, Odunolaoluwa Jenrola, Zeinab Nezami) решает критическую задачу — создание доступных голосовых AI-систем, работающих полностью автономно. Архитектура разработана специально для сообществ Африки, где речь является основным способом взаимодействия, а интернет-соединение часто нестабильно или отсутствует. Исследование предлагает три компонента: модульную архитектуру, спецификацию дешевого «железа» и воспроизводимый пайплайн квантования моделей.
Железо и модели: от Raspberry Pi до NVIDIA Jetson
Команда провела сквозное тестирование стека на двух аппаратных уровнях, чтобы доказать жизнеспособность решения для разных сценариев. В качестве тестовых языков использовались не только английский, но и хауса, игбо, нигерийский пиджин, йоруба, амхарский и оромо. Были оценены три instruction-tuned модели (включая gemma-4-E2B-it) в четырех форматах квантования.
Результаты бенчмарков: скорость против точности
Ключевым открытием стало то, что формат квантования Q4_K_M является оптимальным по соотношению «размер/качество» для обоих уровней железа. Модель gemma-4-E2B-it на мощном модуле NVIDIA Jetson Orin NX (Tier B) продемонстрировала пропускную способность декодирования 28.8 токенов/с и точность классификации тем 89.2%. На более слабом Raspberry Pi 5 (Tier A) все три модели уложились в лимит 16 ГБ памяти, что делает их доступными для массового внедрения.
| Параметр | NVIDIA Jetson Orin NX (Tier B) | Raspberry Pi 5 (Tier A) |
|---|---|---|
| Лучший формат квантования | Q4_K_M | Q4_K_M |
| Пропускная способность (decode throughput) | 28.8 t/s (для gemma-4-E2B-it) | Информация недостаточна (в рамках лимита памяти) |
| Точность классификации тем (MasakhaNEWS) | 89.2% | В пределах бюджета 16GB RAM |
| Поддержка языков | Английский, Хауса, Игбо, Пиджин, Йоруба, Амхарский, Оромо | Английский, Хауса, Игбо, Пиджин, Йоруба, Амхарский, Оромо |
Почему это важно для индустрии
Результаты опровергают миф о том, что для качественной работы с мультиязычными моделями (особенно для low-resource языков) обязательно требуется облачная инфраструктура. Использование квантования Q4_K_M позволяет снизить требования к «железу» без критической потери качества (perplexity drift), открывая путь к созданию децентрализованных AI-сервисов для развивающихся регионов.
Источник: arXiv cs.AI ↗