Стоят ли harness дороги? — GPT-6 Sol без harness прошёл 178 тестов 10 раз из 10
Саммари
Научный сотрудник Thoughtworks и основатель Specmatic Нареш Джейн проверил популярный тезис «поведенческий harness помогает агенту с первого раза» честным контролируемым экспериментом — и получил отрицательный результат на фронтире: Codex с GPT-6 Sol на низком уровне рассуждения прошёл все 178 приёмочных тестов в каждом из 10 прогонов и с harness, и без него, а сам harness лишь увеличил время и стоимость. Зато на дешёвой GPT-6 Luna harness поднял стабильность с переменной до 10/10 и в итоге оказался на 33% дешевле негарнёсного прогона на Sol. Статья заканчивается практичным выводом: с ростом способности модели меняется не то, нужны ли сенсоры, а когда они должны запускаться — для фронтиера достаточно финального гейта.
Из этого следует, что «harness всегда помогает» — такой же миф, как «большая модель всегда лучше»: на сильной модели и детальном брифе сигнал сенсоров внутри разработки ничего не добавил, а их запуск всё равно нужен — но как независимый финальный acceptance-гейт.
На практике для команд это переводит вопрос «делать ли harness» в вопрос «какой у нас модели хватает стабильности»: для Luna-класса сенсоры превращают переменчивость в 10/10 и окупаются более дешёвой моделью, для Sol-класса их стоит запускать один раз в конце.
Важный нюанс: независимость внешнего цикла (без доступа к ответам) и запрет агенту ослаблять ожидания — то, что превращает проверку в независимый источник истины; без этих двух свойств любой harness вырождается в самопроверку агента самим собой.
Ограничение: 10 прогонов на один сервис с детальным брифом не даёт долгосрочной надёжности, а стоимость контрактов (их написание и поддержка) вообще вне учёта — цитируя цифры без этой оговорки легко получить ложную экономию.