Проблема малых моделей на edge-устройствах
Запуск языковых моделей на ресурсоограниченных устройствах (например, Raspberry Pi) обещает приватность и низкую задержку, но малые модели (SLM) часто демонстрируют низкую надежность в задачах, требующих логики, алгебры или арифметики. Авторы работы из arXiv:2609.35833 утверждают, что эта ненадежность во многом преодолима: многие запросы, кажущиеся сложными, на самом деле структурно детерминированы и могут быть решены быстро и точно с помощью символьных методов.
Решение: Нейросимволический роутер
Команда разработала роутер, который классифицирует входящий запрос и отправляет его в самый дешевый и точный решатель. Структурированные задачи (математика, логика) передаются детерминированным символьным движкам, а открытые текстовые задачи остаются за малой языковой моделью. Вместо ручного программирования логики маршрутизации исследователи использовали алгоритм грамматического вывода L* для обучения детерминированного конечного автомата (DFA), используя SLM в качестве оракула членства.
Результаты бенчмарков
Эксперименты проводились на Raspberry Pi 4B (8 ГБ ОЗУ, без GPU) на наборе из 100 непроверенных промптов из датасетов DeepMind Mathematics, GSM8K и RuleTaker. Роутер достиг 100% точности маршрутизации и 98.3% общей точности при бюджете в 512 токенов. Для сравнения, сильные базовые модели показали значительно худшие результаты:
| Метод | Точность | Примечание |
|---|---|---|
| Neurosymbolic Router (предложенный) | 98.3% | 93.3% на текстовых задачах |
| Program-of-Thought (PoT) | 72.0% | Сильный агент-базовый уровень |
| Tool-calling Agent | 58.7% | С теми же решателями |
Эффективность и скорость
Поскольку отформатированные запросы никогда не достигают языковой модели, роутер обрабатывает их за 1–11 мс. В конфигурации с 30 токенами предложенный метод работает в 8.8 раза быстрее и потребляет в 2.8 раза меньше энергии, чем Program-of-Thought. Это делает технологию перспективной для внедрения в IoT-устройства и мобильные приложения, где критичны энергопотребление и скорость отклика.
Источник: arXiv cs.AI ↗