Diff Review не видит регресс агента. Standing Suite — видит
Саммари
Per-diff review проверяет, что один PR выглядит правильно. Он не отвечает на вопрос, делает ли coding-агент всё то же, что делал в прошлом квартале. Изменения модели и вендорские апдейты, которые ломают агента больнее всего, часто не производят diff для ревью. John Young предлагает standing suite — набор eval'ов, запускаемых по триггерам на каждое изменение системы агента (промпты, harness, модель) и по ночному cron для вендорских изменений, с разделением capability и regression suite, чтобы новый навык не маскировал потерю старого за одним смешанным процентом.
Standing suite — это первый специфический для агентов паттерн тестирования, не заимствованный из обычного SDLC. Разделение capability и regression решает фундаментальную проблему: blended rate позволяет регрессии прятаться за новыми возможностями.
Триггер на vendor-side изменения (CL-3, CL-4) — то, что отличает agent-infrastructure от обычного CI. Никакой diff в репозитории не меняется, но поведение агента меняется. Это делает ночной cron обязательным.
Вывод Wei Wu о том, что 70% тихих сбоев ловятся человеческим наблюдением — ограничение любого eval-подхода. Standing suite не решает проблему неизвестных неизвестных.
Для Revit-агентов standing suite особенно актуален: Revit API меняется между версиями, и agent, работавший с Revit 2025, может сломаться на Revit 2026 без изменения строки в файлах агента.