В эпоху, когда облачные гиганты искусственного интеллекта предлагают мощные, но дорогие и нестабильные решения, индустрия начинает обращать взор в сторону локального запуска. Зависимость от сторонних провайдеров несет в себе скрытые риски: от внезапных изменений тарифов и блокировок до вопросов конфиденциальности данных. Пользователи и разработчики все чаще задаются вопросом: можно ли получить интеллектуальность, близкую к флагманской, но при этом полностью контролировать свои данные, запуская модели прямо на своем устройстве? Ответ, который предлагает команда Tether AI Research, — это модель BotPsy, агентский языковой модель с субмиллиардным количеством параметров.
BotPsy — это не просто еще одна маленькая модель. Это специализированный «личный помощник», построенный на базе Qwen3.5-0.8B, который умеет вызывать функции (function calling) и выполнять сложные агентские задачи. Его ключевая особенность заключается в том, что он демонстрирует состояние искусства (SOTA) для своего класса моделей, превосходя многие решения размером до 1.2 миллиарда параметров, а в некоторых метриках обходя даже модели размером 2.5 миллиарда. В этой статье мы подробно разберем, как устроено обучение BotPsy, какие результаты он показывает на бенчмарках и почему это может стать поворотным моментом для локального ИИ.
01Зачем нужен локальный агент: проблемы облачных LLM
Прежде чем углубляться в технические детали BotPsy, важно понять контекст, в котором он был создан. Современные фронтьерные (frontier) облачные модели, такие как GPT-4o или Claude 3.5, обладают выдающимися способностями, но их использование сопряжено с рядом существенных недостатков. Во-первых, операционные расходы могут быть высокими и непредсказуемыми, особенно при масштабировании. Во-вторых, зависимость от третьих лиц создает уязвимости: провайдеры могут изменить условия доступа, изменить модель или вовсе прекратить поддержку API.
Кроме того, проприетарные модели часто предлагают ограниченную кастомизацию под специфические рабочие процессы. Для бизнеса или частного пользователя, которому нужно интегрировать ИИ в локальную инфраструктуру, это критично. Вопросы приватности также стоят остро: отправка данных в облако означает, что третьи стороны имеют к ним доступ. BotPsy предлагает альтернативу. Он разработан для работы на устройстве (on-device), что гарантирует конфиденциальность, так как данные никогда не покидают устройство пользователя. При этом, благодаря росту «интеллекта на параметр», даже модели с небольшим количеством параметров могут эффективно решать рутинные и средние по сложности задачи.
02Архитектура и обучение: от имитации к подкреплению
BotPsy базируется на архитектуре Qwen3.5-0.8B, но его способности были значительно расширены через четырехэтапный процесс пост-обучения. Этот процесс тщательно спроектирован, чтобы модель не только научилась использовать инструменты, но и сохранила общие знания и способность следовать инструкциям. Давайте разберем каждый этап.
1. Обучение с учителем (SFT)
Первый этап — это Supervised Fine-Tuning (SFT). На этом шаге модель обучается на полных параметрах на диалогах, связанных с использованием инструментов. Данные включают многошаговые траектории агентов из симулированных сред, одиночные, параллельные и многошаговые вызовы функций, а также случаи, когда вызов инструмента не требуется. Этот этап закладывает фундамент для понимания того, как взаимодействовать с внешними сервисами.
2. Дистилляция от нескольких учителей (MOPD)
После SFT модель может потерять часть общих знаний и навыков следования инструкциям. Чтобы исправить это, используется Multi-teacher On-Policy Distillation (MOPD). На этом этапе студент (BotPsy) генерирует собственные ответы, а специализированные учителя предоставляют обратную связь по каждому токену. В качестве учителей выступают три модели Qwen3.5-4B, каждая из которых была предварительно обучена с подкреплением (RL) для специализации в одной области: использование инструментов, общее рассуждение и следование инструкциям. Этот этап позволяет восстановить знания и улучшить следование инструкциям, которые могли деградировать после SFT.
3 и 4. Обучение с подкреплением (RL)
Завершающие этапы используют обучение с подкреплением (RL) на основе алгоритма DAPO. Первый раунд RL фокусируется на вызове инструментов, сопровождаясь задачами на следование инструкциям и STEM-вопросами. Вознаграждение здесь тонкое: модель получает частичные баллы за совпадение названий инструментов, имен аргументов и их значений, а не просто бинарную оценку правильности. Второй раунд RL расширяет набор данных, включая математику, код, общие знания и многошаговое использование инструментов в симулированной рабочей среде. Это помогает модели стать более универсальной и устойчивой к ошибкам.
03Результаты бенчмарков: почему BotPsy лучше конкурентов
Самое интересное — это цифры. BotPsy-0.8B демонстрирует впечатляющие результаты, превосходя как свою базовую модель Qwen3.5-0.8B-Think, так и более крупные аналоги. Давайте посмотрим на ключевые метрики.
Использование инструментов и агентские способности
На бенчмарке BFCL v4, который оценивает способность модели вызывать функции, BotPsy показывает результат 44.0, что почти вдвое больше, чем у базовой модели (23.4). Он также превосходит Qwen3.5-2B-Think (37.7), модель в 2.5 раза больше по размеру. Аналогичная картина наблюдается на ACEBench (58.7 против 55.4 у Qwen3.5-2B-Think) и τ-bench (51.5 против 46.5). Единственный бенчмарк, где Qwen3.5-2B-Think немного опережает BotPsy, — это Claw-Eval (48.9 против 46.5), но разница незначительна.
Важно отметить, что BotPsy также превосходит другие модели в классе до 1.2B параметров, такие как LFM2.5-1.2B-Think и MiniCPM5-1B-Think, на большинстве метрик. Это делает его лидером в категории компактных агентов.
Следование инструкциям
Одной из сильных сторон BotPsy является способность точно следовать инструкциям. На бенчмарке IFEval он набирает 90.8, значительно превосходя базовую модель (59.7) и Qwen3.5-2B-Think (80.0). На IFBench результат также является лучшим среди моделей до 1.2B параметров — 55.9. Однако в многошаговых сценариях (Multi-IF), где инструкции накапливаются, производительность модели немного снижается, хотя она все еще остается конкурентоспособной.
Общие знания
Несмотря на специализацию на использовании инструментов, BotPsy не потерял общих знаний. На GPQA Diamond его результат вырос с 33.2 до 38.1, а на MMLU-Pro — с 41.6 до 48.9. Хотя эти цифры уступают более крупным моделям (например, Qwen3.5-2B-Think показывает 59.9 и 65.5 соответственно), для модели размером 0.8B это выдающийся результат. Это подтверждает, что BotPsy спроектирован так, чтобы использовать инструменты для получения фактов, которые он не знает, а не служить как энциклопедия.
04Безопасность и эффективность
Помимо интеллектуальных способностей, BotPsy выделяется в вопросах безопасности и эффективности. В автоматизированном тестировании на безопасность (red-teaming) модель генерирует небезопасные ответы в 21% случаев, что значительно лучше, чем у базовой модели (36%) и других конкурентов в своем классе. Это критически важно для агентов, которые могут взаимодействовать с внешними источниками.
Эффективность также на высоте. BotPsy требует примерно в 3 раза меньше токенов рассуждения для ответа на вопросы GPQA Diamond по сравнению с базовой моделью. Это означает меньшую задержку и меньшее потребление энергии, что особенно важно для мобильных устройств. Кроме того, вероятность того, что модель застрянет в бесконечных циклах рассуждений, упала с 22.9% до 1.4%.
05Доступность и развертывание
BotPsy будет выпущен с открытыми весами под лицензией Apache 2.0, что позволяет использовать его как для исследовательских, так и для образовательных целей. Модель доступна в трех точностях: bf16, Q8 и Q4, в форматах Hugging Face safetensors и GGUF. Это делает ее совместимой с популярными инструментами, такими как QVAC SDK и llama.cpp, что упрощает локальный запуск на различных устройствах, от смартфонов до домашних ПК.
Для пользователей из России и других стран, где доступ к некоторым облачным сервисам может быть ограничен, локальный запуск BotPsy через GGUF-форматы является отличным решением. Вы можете скачать модель и запустить ее на своем оборудовании, не завися от внешних API.
06Будущее: от агента к экосистеме
Команда Tether AI Research видит за BotPsy более широкую картину. В будущем они планируют расширить возможности локальных агентов, интегрируя их с еще большим количеством аппаратного обеспечения и локальных сервисов. Развивается проект Hypersearch для децентрализованных P2P-запросов, что обеспечит приватный поиск в интернете, обходящий корпоративные трекеры. Также планируется оптимизация механизмов локальной тонкой настройки QVAC Fabric, чтобы модель могла глубже адаптироваться к предпочтениям пользователя.
В перспективе интерфейс смартфона сможет делегировать сложные вычислительные задачи домашним ПК или доверенным P2P-узлам во время переходов между офлайн и онлайн режимами. Это создаст полностью автономную, но безопасную экосистему личного ИИ, где пользователь сохраняет полный контроль над своими цифровыми данными.
07Что это значит на практике
Для обычного пользователя BotPsy означает возможность иметь персонального помощника, который работает быстро, не требует интернета для базовых задач и не отправляет ваши данные в облако. Для разработчиков это возможность интегрировать надежного агента в свои приложения, который может управлять устройствами, искать информацию и выполнять другие функции, не полагаясь на нестабильные API.
Хотя BotPsy не предназначен для задач высокой ответственности (он все еще может ошибаться, как и любая модель такого размера), он идеально подходит для рутинных агентских сценариев. Его способность точно следовать инструкциям и эффективно использовать инструменты делает его мощным инструментом для автоматизации. С открытым исходным кодом и поддержкой локального запуска, BotPsy открывает путь к более приватному и независимому будущему в области искусственного интеллекта.
В заключение, BotPsy демонстрирует, что размер больше не является единственным определяющим фактором интеллектуальности. Благодаря умному обучению и специализации, модели с субмиллиардным количеством параметров могут конкурировать с гораздо более крупными аналогами в конкретных задачах, предлагая при этом преимущества приватности и эффективности. Это важный шаг в сторону демократизации ИИ и предоставления пользователям контроля над их цифровыми помощниками.
Источник: Hugging Face ↗