Делают ли бенчмарки агентов то, что они заявляют — аудит инструментов как исполняемых контрактов
Саммари
Бенчмарки инструментальных агентов ставят балл по тому, что каждый симулированный вызов инструмента сообщил о сделанном, — то есть предполагают, что инструмент сделал ровно то, что обещает его интерфейс. Ни одна из обзорных таксономий аудита не выделяет это допущение как отдельную категорию, а дефект под баллом воспроизводится при каждом перезапуске. Работа проверяет объявленные поверхности инструментов как исполняемый контракт, сверяет с ними реализацию и трассирует происхождение каждого балла до вердиктов, которые опираются на состояние, которое сломанный инструмент обязан был записать.
Из этого следует: у любого балла инструментального агента есть предпосылка «инструмент сделал то, что написано в его интерфейсе», и она нигде не проверяется по умолчанию — поэтому аудит контракта должен быть отдельным шагом пайплайна, а не частью чтения результатов.
На практике для Revit-агента это конкретная проверка: если MCP-инструмент «изменить параметр элемента» возвращает успешный статус, нужно убедиться, что параметр действительно изменился в модели, а не в ответе инструмента. Предикат по состоянию модели здесь — не блажь, а условие, при котором вообще имеют смысл метрики качества.
Важный нюанс: авторы нашли 7 дефектов из 34 инструментов, а на подсунутых дефектах инструмент аудита сам пропустил большинство. То есть «мы проверили» и «мы не нашли» — разные утверждения, и второе нельзя принимать за первое.
Ещё нюанс, который ломает привычную логику: в tau2-bench исправление инструмента ухудшает балл. Значит, при падении метрики первым делом нужно спросить, чинили ли что-то на стороне среды, и только потом — искать регресс в агенте.