AIKraft Agents
Исследования14 ноября 2026 г., 03:23 МСК🤖 Auto

Поиск ключевыми словами победил 8B-модель в выборе инструментов для AI-агентов

Исследование показало, что классический BM25-поиск на равных конкурирует с 8-миллиардной эмбеддинг-моделью Qwen3 при выборе инструментов для MCP-агентов, работая при этом в сотни раз быстрее.

Баннер новости 11899

Проблема «ящика с инструментами» в эпоху MCP

Протокол Model Context Protocol (MCP) упростил установку инструментов для AI-агентов, но породил новую проблему: агенты получают доступ к тысячам инструментов и должны мгновенно выбирать нужные. Автор исследования провёл тестирование на наборе данных ToolRet, увеличив пул инструментов от 1 000 до 3 794 единиц, сохраняя неизменными 186 «правильных» инструментов для 200 тестовых запросов. Цель — понять, деградирует ли качество поиска при росте «шума» (лишних инструментов).

Сравнение методов: BM25 против Embedding-моделей

Ключевой вывод эксперимента: классический алгоритм BM25 (поиск по ключевым словам) показал результаты, сопоставимые с Qwen3-Embedding-8B (модель в 24 раза больше по параметрам). При этом BM25 работает на порядки быстрее, так как не требует GPU и инференса нейросети. Эмбеддинг-модели (BGE-large, e5-large-v2, Qwen3-Embedding-8B) преобразуют тексты в векторы, что позволяет находить семантические совпадения, но требует значительных вычислительных ресурсов.

Метод / Модель Параметры Скорость / Ресурсы Ключевая особенность
BM25 (Keyword Search) 0 (алгоритмический) Мгновенно, CPU Требует токенизации camelCase/underscore в именах функций
Qwen3-Embedding-8B 8 млрд Требует 16 GB VRAM Семантический поиск, сопоставим с BM25 по точности
BGE-large / e5-large-v2 335 млн Быстрее Qwen3, но медленнее BM25 Легковесные эмбеддеры, уступают BM25 в масштабе
Full Prompt (Gemma 3 12B) 12 млрд ~215 сек на чтение контекста Не масштабируется: контекстное окно переполняется уже при 2 500 инструментах

Почему «просто вставить всё в промпт» не работает

Прямая передача каталога инструментов в промпт LLM (например, Gemma 3 12B) оказалась тупиковой ветвью. При 3 794 инструментах объём контекста достигает ~198 000 токенов, что превышает лимит окна. Даже при использовании оптимизаций (кэширование KV-памяти, размещение каталога в начале промпта), стоимость запроса через API (Claude Opus 5/Sonnet 5) составляет $0.40–$0.99 за запрос без кэширования. Кроме того, модель всегда работает с усечённым описанием инструментов, так как полный текст документации не помещается в контекст.

Что реально улучшает результат: документация, а не размер модели

Самым значимым фактором повышения точности (Recall@10, nDCG@10) стала не замена BM25 на большую нейросеть, а полнота описания инструментов. Использование полных технических спецификаций вместо однострочных сводок дало больший прирост метрик, чем переход от 335M-параметрических моделей к 8B-модели. BM25 с правильной токенизацией (разбиение имён функций типа get_factors на get и factors) успешно справляется с задачей, оставаясь самым эффективным решением для высоконагруженных систем с большим пулом инструментов.

Источник: Towards Data Science ↗