ReviewBench — открытый бенчмарк для AI-ревью кода
Саммари
GitHub открыл ReviewBench — офлайн-бенчмарк для code review агентов, собранный на реальных pull request’ах с публичной золотой метрикой, калиброванным судьёй и метриками, привязанными к производственным сигналам. Ключевой тезис: качество AI-ревьюера нельзя оценивать по одному precision против фиксированного списка известных проблем, потому что сильные ревьюеры находят то, чего в этом списке никогда не было. Это прямой ответ на приоритетную тему курса «AI code review: эмпирика, метрики, DoD для AI-кода».
Из этого следует: для сравнения code review агентов одной золотой сборки мало — нужен Augmented-слой, иначе сильный ревьюер штрафуется за находки, которых не было ни у кого из разметчиков.
На практике для RevitAiTools это готовый образец DoD для AI-ревью: рубрика «истинно + релевантно + нетривиально», severity-нарезка, отдельная категория Testing и два числа (grounded recall как заголовок, addressed rate как онлайн-аналог precision).
Важный нюанс: 96.6% согласия достигнуты на независимой повторной разметке senior-инженерами — это единственный способ опубликовать качество самого судьи, и без такого аудита бенчмарк остаётся самооценкой.
Ограничение: 219 PR — это маленький набор против 100M+ PR в природе, а публикация счёта только при улучшении создаёт стимул к подгонке под текущий leaderboard; для внутреннего замера изменений в RevitAiTools честнее держать свой приватный набор задач.