CRBugBench — когда «lights-off» фабрика ещё не готова: review-агенты против реальных багов
Саммари
Разработчики всё больше времени тратят на ревью кода, чем на его написание, и возникает соблазн уйти в «lights-off software factory» — автономное ревью почти без участия человека. Авторы строят CRBugBench: бенчмарк из 1 000 задач ревью на 98 open-source репозиториях GitHub плюс 800 задач из проприетарных репозиториев одной крупной компании, где каждая задача — реальный баг с подтверждением людьми, заминусированный вместе с вводившим его PR. Результат двоякий: лучшая связка ловит 71.9% багов в топ-5 комментариев, но на проприетарном контексте и нетривиальных изменениях качество падает резко — полная автономность пока преждевременна.
Из этого следует, что «агент ревьюер» и «агент автор» — разные по сложности задачи: детект багов в известном PR (71.9%) даётся легче, чем нелокальное рассуждение над незнакомым кодом, поэтому ревью-агентов стоит подключать первыми, а не последними.
На практике для RevitAiTools важнее всего вывод про проприетарный контекст: на закрытом коде качество падает, потому что баг часто не локален. Подача знаний о репозитории (CLAUDE.md, карта модулей, архитектурные инварианты) — не украшение, а единственный способ вернуть open-source-показатели на внутренний проект.
Важный нюанс: +5.8% за +10% стоимости на exploration-промптах означает, что выигрыш покупается дешёвыми изменениями промпта, а не очередным апгрейдом модели — дешевле протестировать промпт-варианты на своём бенчмарке, чем ждать новой версии.
Ограничение: задачи — баги с вводившим PR, то есть детект известного изменения; это не полное ревью «всего PR», и метрика завышает реалистичность относительно продакшена, где баг заранее не задан.