Какие метаданные управляют выбором MCP-инструмента: схема параметров важнее имени
Саммари
В системах на Model Context Protocol LLM выбирает инструмент по метаданным — имени сервера, имени инструмента, описанию и схеме параметров, — не видя реализации. Авторы проанализировали метаданные 367 174 MCP-инструментов и обнаружили, что функционально одинаковые инструменты имеют разные схемы (169 записей send_email используют 78 различных наборов параметров), после чего провели контролируемые вмешательства: пять моделей, пять задач, в каждой паре меняется ровно один метаданных-фактор, а позиции кандидатов сбалансированы. Главный результат — схема параметров даёт самые большие и самые устойчивые сдвиги выбора, описания, объясняющие параметры, тоже увеличивают выбор, а имена слабы и часто уступают позиции в списке: схема влияет на то, вызовут ли инструмент вообще, а не только на то, как его вызовут.
Из этого следует, что имя и структура параметров — это не «стиль API», а канал управления: разработчик MCP-сервера решает, будет ли его инструмент вызван, переименованием поля и решением «одно поле или плоская тройка» ещё до какого-либо промпта.
На практике для eval'ов инструментов: измерять выбор нужно при варьировании порядка кандидатов — при двух инструментах и слабых метаданных 92–100% выборов уходит первому списку, и бенчмарк без ротации позиций меряет позицию, а не качество.
Важный нюанс безопасности: метаданные — это рулируемый канал (см. отравленные описания в MCPTox), и теперь известно, что сильнее всего на выбор влияет именно схема — защита вида «проверяем только описания» закрывает не тот вход.
Ограничение: работа одноразовая, без исполнения и на английских запросах; объяснение эффекта переименований («recipient_id сигнализирует идентификатор») — поведенческая интерпретация, а не измеренный механизм.