Проблема облачных LLM и решение на устройстве
Крупные языковые модели (LLM) в облаке несут высокие операционные расходы и создают риски для приватности: провайдеры могут изменить доступ или условия использования в любой момент. Команда Tether AI Research предлагает альтернативу — BotPsy, модель с 0.8 млрд параметров, построенную на базе Qwen3.5-0.8B. Она предназначена для работы непосредственно на устройстве (on-device), обеспечивая полный контроль над данными и низкую задержку.
Результаты бенчмарков: эффективность против размера
BotPsy демонстрирует выдающиеся результаты в задачах вызова инструментов (tool-use) и агентных сценариях. Модель превосходит не только своего базового предка (Qwen3.5-0.8B-Think), но и более крупные модели, такие как Qwen3.5-2B-Think (в 2.5 раза больше параметров). На пяти из шести ключевых бенчмарков BotPsy заняла первое место в категории моделей до 1.2B параметров.
| Бенчмарк | BotPsy-0.8B | Qwen3.5-2B-Think (2.5x размер) | Qwen3.5-0.8B-Think (База) |
|---|---|---|---|
| BFCL v4 (Agentic) | 44.0 | 37.7 | 23.4 |
| ACEBench | 58.7 | 55.4 | 30.1 |
| τ-bench (Среднее) | 51.5 | 46.5 | 23.2 |
| ToolSandbox | 64.6 | 41.2 | — |
| BrowseComp-Plus | 4.5 | 2.8 | — |
| Claw-Eval | 46.5 | 48.9 | — |
Ключевые улучшения в надежности и безопасности
Модель не только лучше выполняет задачи, но и реже ошибается. BotPsy научилась корректно отказываться от вызова инструментов, когда это не требуется (снижение галлюцинаций). В тестах на безопасность (red-teaming) модель генерирует небезопасные ответы в 21% случаев, что значительно лучше базовой модели (36%) и конкурентов (до 47%).
- Следование инструкциям: IFEval вырос с 59.7 до 90.8, IFBench — с 22.0 до 55.9 (лучший результат в классе).
- Эффективность: Количество токенов рассуждения сократилось в 3 раза (GPQA Diamond: 3,690 против 11,563 у базы), а вероятность зацикливания упала с 22.9% до 1.4%.
- Многошаговые задачи: В сценариях телекоммуникаций (τ²-bench) модель набрала 82.5 балла, опередив Qwen3.5-2B-Think (69.3).
Доступность и лицензия
Модель BotPsy будет опубликована с открытыми весами под лицензией Apache 2.0. Доступны форматы Hugging Face safetensors и GGUF (bf16, Q8, Q4) для совместимости с QVAC SDK и llama.cpp. Это позволяет разработчикам легко интегрировать агента в мобильные приложения и локальные сервисы без зависимости от внешних API.
Бенчмарки
| Бенчмарк | BotPsy | Qwen3.5-0.8B-Think | Qwen3.5-2B-Think |
|---|---|---|---|
| BFCL v4 | 44% | 23.4% | 37.7% |
| ACEBench | 58.7% | 30.1% | 55.4% |
| Tau-bench | 51.5% | 23.2% | 46.5% |
| ToolSandbox | 64.6% | — | 41.2% |
| BrowseComp-Plus | 4.5% | — | 2.8% |
| GPQA Diamond | 38.1% | 33.2% | — |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: Hugging Face blog ↗