Проблема «ящика с инструментами» в эпоху MCP
Протокол Model Context Protocol (MCP) упростил установку инструментов для AI-агентов, но породил новую проблему: агенты получают доступ к тысячам инструментов и должны мгновенно выбирать нужные. Автор исследования провёл тестирование на наборе данных ToolRet, увеличив пул инструментов от 1 000 до 3 794 единиц, сохраняя неизменными 186 «правильных» инструментов для 200 тестовых запросов. Цель — понять, деградирует ли качество поиска при росте «шума» (лишних инструментов).
Сравнение методов: BM25 против Embedding-моделей
Ключевой вывод эксперимента: классический алгоритм BM25 (поиск по ключевым словам) показал результаты, сопоставимые с Qwen3-Embedding-8B (модель в 24 раза больше по параметрам). При этом BM25 работает на порядки быстрее, так как не требует GPU и инференса нейросети. Эмбеддинг-модели (BGE-large, e5-large-v2, Qwen3-Embedding-8B) преобразуют тексты в векторы, что позволяет находить семантические совпадения, но требует значительных вычислительных ресурсов.
| Метод / Модель | Параметры | Скорость / Ресурсы | Ключевая особенность |
|---|---|---|---|
| BM25 (Keyword Search) | 0 (алгоритмический) | Мгновенно, CPU | Требует токенизации camelCase/underscore в именах функций |
| Qwen3-Embedding-8B | 8 млрд | Требует 16 GB VRAM | Семантический поиск, сопоставим с BM25 по точности |
| BGE-large / e5-large-v2 | 335 млн | Быстрее Qwen3, но медленнее BM25 | Легковесные эмбеддеры, уступают BM25 в масштабе |
| Full Prompt (Gemma 3 12B) | 12 млрд | ~215 сек на чтение контекста | Не масштабируется: контекстное окно переполняется уже при 2 500 инструментах |
Почему «просто вставить всё в промпт» не работает
Прямая передача каталога инструментов в промпт LLM (например, Gemma 3 12B) оказалась тупиковой ветвью. При 3 794 инструментах объём контекста достигает ~198 000 токенов, что превышает лимит окна. Даже при использовании оптимизаций (кэширование KV-памяти, размещение каталога в начале промпта), стоимость запроса через API (Claude Opus 5/Sonnet 5) составляет $0.40–$0.99 за запрос без кэширования. Кроме того, модель всегда работает с усечённым описанием инструментов, так как полный текст документации не помещается в контекст.
Что реально улучшает результат: документация, а не размер модели
Самым значимым фактором повышения точности (Recall@10, nDCG@10) стала не замена BM25 на большую нейросеть, а полнота описания инструментов. Использование полных технических спецификаций вместо однострочных сводок дало больший прирост метрик, чем переход от 335M-параметрических моделей к 8B-модели. BM25 с правильной токенизацией (разбиение имён функций типа get_factors на get и factors) успешно справляется с задачей, оставаясь самым эффективным решением для высоконагруженных систем с большим пулом инструментов.
Источник: Towards Data Science ↗
