AgentBug-Smith — баги самого harness как отдельный класс дефектов
Саммари
Дефекты harness — то есть самого агентного каркаса, а не кода, который он правит, — имеют собственные characteristics и плохо чинятся передовыми софтверными агентами. Прогресс тормозится ещё и тем, что существующие бенчмарки содержат небольшое фиксированное число исполняемых harness-багов, а на их ручную сборку уходят сотни человеко-часов. AgentBug-Smith решает именно эту проблему: непрерывно находит и воспроизводит реальные harness-баги из опенсорсных агентных систем и превращает провалы в переиспользуемый материал.
Из этого следует: у harness есть собственный класс дефектов, и он не покрывается метриками качества продуктового кода — падение агента из-за неверного маршрута вызова инструмента невозможно увидеть в «проценте решённых issues».
На практике для Revit-агента это означает отдельный журнал отказов каркаса: разрыв MCP-соединения, неверный разбор ответа инструмента, потерянное состояние между шагами цикла. Эти случаи стоит накапливать как воспроизводимые сценарии, иначе каждый новый агент будет заново наступать на одни и те же грабли.
Важный нюанс: прирост от дистилляции навыков починки невелик (6,32%). То есть извлечение опыта из исправлений harness работает, но остаётся вспомогательным; основной эффект — это инфраструктура в виде живого бенчмарка на 200 случаев.
Ещё нюанс: общие техники репродукции багов дают на harness-дефектах на 10,67–27,56% меньше успеха. Значит, переносить практики из мира обычного тестирования в инфраструктуру агентов нужно с осторожностью и обязательно измерять разницу.