cactus-compute/needle

Что это за инструмент

Needle — это сверхлегкая фундаментальная нейросеть (8–29 МБ), оптимизированная для работы на устройствах с ограниченными ресурсами, таких как смартфоны, носимая электроника и микроконтроллеры.

Зачем нужен

Инструмент решает задачу локального выполнения сложных функций: вызова инструментов (tool calls) и структурированного извлечения данных (extraction) без отправки запросов в облако. Он полезен разработчикам, которым нужно внедрить AI-агентов или парсинг текста в приложения, работающие офлайн или в условиях низкой пропускной способности сети.

Что можно реализовать

• Локальные AI-агенты на смартфонах и IoT-устройствах, которые вызывают функции приложения (например, погода, календарь) без интернета.
• Извлечение структурированных данных (инвойсы, бронирования, формы) из неструктурированного текста прямо на устройстве.
• Поиск и маршрутизация запросов с использованием локальных эмбеддингов (векторов) предложений.
• Деплой AI-моделей на микроконтроллерах и встраиваемых системах (MCU) благодаря малому весу бинарника.

Ключевые возможности

• Экстремально малый размер модели (2-бит, 8-29 МБ), что позволяет запускать её на устройствах с жесткими ограничениями памяти.
• Высокая точность в вызове инструментов (tool calls) и извлечении данных, превосходящая модели в 10 раз больше по размеру.
• Гарантия валидности вывода: грамматический декодер гарантирует, что JSON-ответ всегда будет синтаксически корректным.
• Поддержка кастомизации через дообучение (fine-tuning) подзадач и использование специфичных для домена инструментов.
• Кроссплатформенная поддержка: работает на macOS, Linux, Android, iOS, в браузере (WASM) и на микроконтроллерах.

👤 Кому подойдёт: разработчики мобильных и embedded-приложений, инженеры по AI, создающие локальные агенты, исследователи в области эффективных LLM