«Плаусибельно» недостаточно — как 239 практикующих оценивают доверие и доказательства к AI-PR
Саммари
Опрашивательное исследование разбирает, по каким критериям ревьюеры принимают pull request'ы, написанные AI, в отличие от человеческих: 239 практикующих из 31 страны получили парные вопросы про HPR и AIPR с одинаковыми формулировками. Результат тревожный для тех, кто уже впустил агентов в воронку ревью: 64.9% респондентов доверяют AI-PR меньше на старте, но при этом чаще считают достаточным собственное рассуждение по критическим кейсам (55.2% против 28.5%) и реже опираются на покрытие тестами. Работа переводит ревью AI-кодов из проверки корректности в проблему владения доказательствами: генерируемому изменению нужно связать с проверяемым поведением и ответственным мейнтейнером.
Из этого следует, что главный риск AI-code review — не качество самих патчей, а разрыв между «выглядит правдоподобно» и «доказано работает»: правдоподобность понижает порог собственного рассуждения ревьюера ровно там, где нужен тест.
На практике для Revit-плагинов и агентных пайплайнов: в чек-лист приёмки агентского изменения стоит явно вписать provenance (каким промптом/контекстом порождено) и ссылку на локальный прогон, а не полагаться на осмотр кода.
Важный нюанс: парадокс «меньше доверия, но больше самонадеянности» — 61.1% хотят больше доказательств, и одновременно 55.2% достаточно собственного разбора кейсов; усиление требований не гарантирует усиления проверки.
Ограничение: саморепортный опрос и сопоставленные формулировки измеряют заявленные практики, а не фактическое поведение на реальных PR — прямых метрик принятия изменений в исследовании нет.