Частые вопросы про agent evals — офлайн и онлайн, четыре evaluator'а, судья и бенчмарки
Саммари
LangChain собрал ответы на вопросы, которые команды задают про оценку агентов: с чего начать, чем офлайн-эвалы отличаются от онлайн, каким evaluator'ам доверять, чем бенчмарк отличается от eval'а и как не разориться на проверке продакшн-трафика. Рецепт старта прост и дёшев: одно поведение, 10–20 примеров из реальных трейсов, baseline — и петля «нашёл сбой → добавил в датасет → перепроверил».
Из этого следует, что эвалы агента — это не одна цифра для пресс-релиза, а петля: трейсы → датасет → baseline → сравнение версий, причём бенчмарк лишь один из типов внутри этой петли.
На практике правило «code evaluator, где можно; судья, где нельзя; человек, чтобы проверить обоих» дешевле и воспроизводимее, чем один LLM-судья на весь трафик: бинарная шкала и узкий вопрос бьют длинный рубрикатор.
Важный нюанс: онлайн-эвалы масштабируются по стоимости вместе с трафиком, поэтому сэмплирование и дешёвый судья — не оптимизация, а условие выживания этой практики.
Ограничение: многое описано на практике конкретной платформы (LangSmith, Harbor); переносимы принципы и классификация, а не API и название интеграций.