MCPGen — бенчмарк executable MCP-workflow разработки
Саммари
MCPGen — исполняемый бенчмарк для разработки MCP-workflow: может ли LLM собрать артефакт, который работает end-to-end (структура графа, реализации инструментов, schema bindings, runtime wiring согласованы). Ключевой результат: 88.5% на восстановлении workflow против ≤57% end-to-end execution success — разрыв между «структурно правдоподобно» и «действительно исполняется».
Разрыв 88.5% на reconstruction против ≤57% на end-to-end execution success показывает, что «структурно правдоподобно» ≠ «исполняется»: метрика отдельных слоёв вводит в заблуждение.
На практике при генерации MCP-инструментов в CI нужен process-isolated e2e прогон (поднять сервер, позвать tool, проверить ответ), а не только юнит-тесты handler'ов — per-tool 63.8% не конвертируется в project-level результат.
Ограничение: 11 моделей в single-turn формате без агентной обвязки — это нижняя граница; реальный coding-агент с итерациями может показать другую картину, но интеграционная хрупкость от этого не исчезает.