Устойчивость плана агента — почему task success ничего не говорит о готовности к внедрению
Саммари
Почти каждый лидерборд агентов измеряет task success — дошёл ли план до целевого состояния на чистом экземпляре, где мир ведёт себя как предполагал план, инструменты возвращают ожидаемое, а цель не двигается. Работа показывает, что этот показатель систематически награждает хрупкие решения: успех на чистых входах измеряется ровно на тех входах, под которые хрупкий план и подстроен. Вводится измеряемая величина robustness gap и таксономия из четырёх классов возмущений.
Из этого следует: «агент набрал 87% на бенчмарке» — неполное утверждение. Полное — «87% на чистых экземплярах и X% на возмущённых», и второе число обычно рушит первое.
На практике для Revit-агентов: чистый экземпляр — это идеально подогнанная модель без конфликтов, без параллельной правки и с предсказуемыми параметрами. Это ровно тот случай, который план подстроил, и он противоположен реальному проекту.
Важный нюанс: классы возмущений композируются, а бенчмарк может отдавать профиль по классам. Для приоритизации работ это важнее единого скаляра — один класс может стоить дороже остальных вместе взятых.
Второй нюанс: repair-based перепланирование даёт линейную деградацию по дрейфу, а с нуля — без гарантий. Это дешёвое и конкретное улучшение: стабилизировать ремонт плана вместо полной перестройки.
Третий нюанс: связь с pass-to-the-k означает, что устойчивость — не отдельная от надёжности величина. Агент с низким robust success обвалится постепенно по мере накопления экспозиции, и это увидят пользователи, а не тесты.
Четвёртый нюанс: порог «миллион сидов» означает, что масштабирование чистой оценки — не просто дорого, а принципиально недостаточно. Это важно для планирования работы: бюджет на поиск возмущений нельзя получить увеличением числа тестов на чистых данных.