Модель и harness оцениваются вместе — 66 конфигураций и разворот рейтингов
Саммари
Выбор агентной системы — это всегда выбор пары: модель плюс harness, через который она действует. Работа отвечает на вопрос, сохраняет ли сильная связка силу при смене обстановки, и отвечает измеримо: 66 конфигураций, четыре настраиваемых harness, пять моделей, три бенчмарка и 6 204 опубликованные траектории. Главный результат: ранжирование моделей разворачивается между harness, родной harness вендора не обязательно лучший, а более дорогая модель не обязательно даёт более высокий балл.
Из этого следует: любой лидерборд, где фиксирована одна пара «модель + harness», измеряет не модель, а связку. Сравнивать Opus на Cursor с Sonnet на Claude Code — бессмысленно.
На практике для Revit-инструментов: собственный MCP-harness (обёртка над Revit API) — это такой же переменный фактор, как и выбор модели. Прежде чем менять модель, стоит проверить, не деградирует ли связка из-за формы отдачи ошибок в вашем harness.
Важный нюанс: работа не утверждает, что харнесс «важнее» модели. Она утверждает, что эффекты не аддитивны — поэтому продуктовое решение нужно принимать по целевой паре, а не по компонентам по отдельности.
Второй нюанс: Kimi и GPT в этой работе показывают противоположные предпочтения каркаса (минимальный против терпимающего к ошибкам). Значит, «лёгкий harness» и «прощающий harness» — не один компромисс, а два разных класса решений, и выбор между ними зависит от того, какие модели вы планируете допускать.
Третий нюанс: разворот в 30,16 пункта — это не артефакт «слабых» harness. PI побеждает GPT при меньшей четверти стоимости, то есть рейтинг по деньгам здесь вообще не коррелирует с рейтингом по баллу.