Что покупает harness — в основном токены
Саммари
Харнесс — это то, что вокруг модели: системный промпт, набор инструментов, управление контекстом, и именно он меняется чаще всего (популярные продукты выкатывают больше двух релизов в день). Paper измеряет ровно одну вещь: насколько сам harness двигает pass rate, когда модель зафиксирована, — и отвечает: почти никак, но при этом меняет счёт за задачу втрое. Результат важен для всех, кто сравнивает агентов по лидербордам и списывает разницу на «магию харнесса».
Из этого следует: «прирост от нового релиза harness» по умолчанию надо измерять против собственного шума повторного прогона, а не против нуля — на hard45 смена harness и повтор того же harness дают одинаковые 13% перевёрнутых задач.
На практике для Revit-инструментов это означает, что выбирать связку «модель + harness» под нашу задачу нужно по стоимости шага и длине преамбулы: если агент делает много шагов по модели, 16.5k токенов собственного текста платформы на каждом шаге обойдутся дороже любой экономии на модели.
Важный нюанс: результат не отменяет S97 (там связку выбирают по целевой паре и рейтинги разворачивались на 30 п. п.) — два исследования вместе дают более тонкое правило: harness почти не двигает медианный pass rate, но двигает стоимость и может проигрывать через свои собственные лимиты (обрезка вывода у OpenCode).
Ограничение подхода: измерено на SWE-bench Verified и CLI-харнессах; для доменных задач вроде «правка семейств в Revit» структура шагов другая, и прямое перенесение чисел некорректно — важен сам метод (фиксированный бюджет шагов + повторные прогоны для калибровки шума).