Ouroboros — тула для harness: исследовательское логирование вместо тестов
Саммари
Ouroboros — open-source тула для agent harness, которая оборачивает написанный агентом код в логирование и выводит в трейс сигнатуры функций: имя, аргументы и выходное значение структурированными JSON-строками. Идея проста и проверена на себе: вместо того чтобы заставлять агента придумывать и подгонять тесты для большой кодовой базы, ему дают возможность изолированно запускать и исследовать код — «прочитать сорок тысяч строк дорого, прогнать и посмотреть, какие функции реально зовутся, дёшево». Автор, Lead Full-Stack, пилил инструмент для себя, опубликовал его на GitHub вместе с датасетом трейсов на Hugging Face и скиллом, и приводит замеры прироста на четырёх моделях.
Из этого следует, что трейс — самый дешёвый вид контекста для агента: он отвечает не на вопрос «что написано», а на вопрос «что происходит при выполнении», а это именно то, что модели не хватает при отладке чужой логики.
На практике для Revit-автоматизации приём переносится напрямую: обернуть вызовы Revit API логированием входных/выходных значений и дать агенту трейс — дешевле, чем просить его покрыть скрипт тестами, которые он сам же и будет подгонять.
Важный нюанс: буст у локальных моделей (+23–34 п. п.) против +3.3 п. п. у топовой — инструмент частично компенсирует слабость модели, что делает связку «дешёвая модель + хороший harness» реальной альтернативой дорогой модели без обвязки.
Ограничение: авторские замеры опубликованы без описания методики и задач, сам он предупреждает, что инструмент «пилил для себя, он неидеален» — цифры следует читать как сигнал направления, а не как воспроизводимый бенчмарк.