Двойной слепой бенчмарк голосового AI-собеседника против панели инженеров
Саммари
Команда TechEval провела двойной слепой бенчмарк автономного голосового интервьюера Kovi против панели из трёх Staff/Principal-инженеров на 25 полных 45-минутных скрининговых собеседованиях и получила корреляцию Пирсона 0,942 по совокупной оценке и каппу Коэна 0,88 на границе решений «pass/reject». Ключевой архитектурный тезис — развязывание беседы и оценки: evaluator-узел не участвует в живом разговоре, а получает готовую расшифровку и считает по неизменяемой рубрике, что устраняет conversational leniency (монолитный single-prompt оценивающий демонстрировал +14% завышения оценок и дисперсию 1,84 против 0,21 у развязанного). Отдельно измерялась устойчивость к обману: в 30 адверсариальных сессиях live LLM-копилот ловился в 100% случаев по сигнатуре задержки 2,1–2,8 с.
Из этого следует, что развязывание «разговорного» и «оценивающего» агента — воспроизводимый паттерн: там, где одна и та же модель сначала ведёт диалог, а потом оценивает результат, дисперсия и завышение оценок растут именно из-за вовлечённости, а не из-за качества модели.
На практике для Revit- и business-агентов это значит: evaluator-узел должен получать артефакт (расшифровку, файл, PR) и рубрику, а не участвовать в переговорах, — тогда его решения реплицируемы и проверяемы по таймстемпам.
Важный нюанс: детект «ответил за 2,1–2,8 с всегда» — это детект поведения, а не содержания; он показывает, что интегрити-чеки в собеседованиях должны смотреть на сигнатуру взаимодействия (паузы, barge-in, смена условий), и та же логика применима к детекту автоматизации в поддержке.
Ограничение: bенчмарк самопубликация вендора на n=25 без внешней репликации, а «eliminated (0% inflation)» — свойство конкретной конфигурации с strict schema; доверять числом стоит как к аргументу в пользу архитектуры, а не как к независимому сертификату точности.