Doc2Harness — первый детерминированный бенчмарк harness-инжиниринга
Саммари
Doc2Harness — первый, по утверждению авторов, детерминированный бенчмарк, который мерит не выполнение задачи в фиксированном харнесе, а способность модели самому собрать харнес под задачу. В первой стадии build-модель получает контракт-скелет и документ разработки, описывающий поведение двенадцати фронтовых харнесов, и в изолированном контейнере строит полный кандидат-харнес; во второй построенный (и замороженный) харнес прогоняется по 328 тест-кейсам скриптованной mock-моделью с четырьмя каналами оценки. На 19 моделях разброс результатов огромный: лучшая (GPT-6 Astra) проходит 53,05% тестов, худшая — 27,44%, и даже лидер валит почти половину; отказы кластеризуются вокруг распределения сквозной функциональности между модулями.
Из этого следует, что «собрать оболочку агента» — отдельная измеримая компетенция модели, а не побочный эффект умения писать код: разброс 26 п.п. между моделями на одном и том же контракте делает харнес-инжиниринг предметом отбора модели под задачу.
На практике для разработки AI-инструментов: тест-сьют Doc2Harness подсказывает, какие свойства харнеса проверять своим прогоном — детерминированные оракулы (файлы, exit code, вывод команд, запросы к модели) вместо «погляди, работает».
Важный нюанс: отказы кластеризуются вокруг распределения сквозной функциональности между модулями — то есть типичный баг харнеса не в логике, а в разрыве между частями, каждая из которых в отдельности корректна.
Ограничение: 328 кейсов и mock-модель дают верхнюю границу «насколько внятно мерится харнес»; живые модели внутри собранного харнеса ведут себя иначе, и замер на них остаётся отдельной задачей.