Масштаб проблемы: разрыв между функционалом и метаданными
Авторы исследования проанализировали метаданные 367 174 инструментов в рамках Model Context Protocol (MCP). Выяснилось, что функционально идентичные инструменты часто имеют разные схемы параметров (parameter schemas), несмотря на схожие названия и описания. Это создает критическую проблему: LLM принимает решение о выборе инструмента на основе метаданных, а не их реальной реализации. Разница в структуре JSON-схемы может стать решающим фактором, отбрасывая более подходящий инструмент в пользу менее удобного, но «правильно» оформленного.
Методология: контролируемые вмешательства
Для проверки гипотезы команда провела контролируемые эксперименты с участием 5 крупных LLM и 5 различных задач. Ключевая особенность метода — изменение ровно одного фактора метаданных (имя сервера, имя инструмента, описание или схема параметров) при сохранении остальных неизменными. Позиции инструментов балансировались, а влияние оценивалось с помощью условной логистической регрессии, что позволило изолировать эффект от смещения позиции в списке.
Ключевые выводы: иерархия влияния метаданных
Результаты показали, что не все элементы метаданных равнозначны. Влияние на выбор модели распределяется следующим образом:
- Схема параметров (Parameter Schema): Вызывает самые большие и стабильные сдвиги в выборе. Модели явно предпочитают плоские параметры верхнего уровня (top-level parameters) перед сгруппированными или составными формами.
- Описание (Description): Описания, которые детально объясняют параметры, увеличивают вероятность выбора инструмента.
- Имя (Name): Оказывает слабое и нестабильное влияние на выбор.
Практические последствия для разработчиков
Исследование доказывает, что дизайн схемы влияет не только на то, как вызывается инструмент, но и на то, будет ли он выбран вообще. В ситуациях, когда только одна схема удовлетворяет явным требованиям запроса, все пять протестированных моделей выбирали совместимый инструмент, игнорируя предпочтения по позиции. Однако в большинстве случаев «неудобная» схема параметров может привести к ошибочному выбору даже при наличии более функционального аналога.
| Фактор метаданных | Влияние на выбор LLM | Ключевая деталь |
|---|---|---|
| Схема параметров (Schema) | Максимальное | Модели предпочитают плоские параметры над вложенными |
| Описание (Description) | Среднее | Детальное объяснение параметров повышает релевантность |
| Имя инструмента (Name) | Слабое | Эффекты нестабильны и зависят от контекста |
Для разработчиков MCP-экосистемы это означает необходимость стандартизации схем параметров и внимательного отношения к их структуре, так как это напрямую определяет эффективность взаимодействия LLM с внешними сервисами.
Источник: arXiv cs.AI ↗