Multi-agent code judge — когда LLM-судья не имеет права выносить вердикт
Саммари
Когда LLM судит корректность чужого кода, он никогда не сообщает об отсутствии оснований для ответа — возвращает уверенный вердикт с рассуждением, неотличимый от обоснованного. Работа измеряет, насколько это снижает точность, и предлагает label-free способ распознавать такие случаи.
Из этого следует: high-level архитектура multi-agent verification из документов не переносится на код автоматически — требуется отдельная проверка, что свидетельства различают кандидатов.
На практике для RevitAiTools: сравнение двух вариантов плагина по описанию их поведения не работает, как показал бы код. Нужен либо исполняемый вердикт (тесты, снимок геометрии), либо явный отказ от сравнения.
Важный нюанс: 78–95% «оба варианта равноценны» выглядят как стабильность судьи, но на деле это отказ от оценки. Отчёт агента с таким процентом нужно читать с подозрением.