Jev-as-a-Judge — новый тип evaluator для AI-агентов
Саммари
LangChain сравнили Jev (TypeSafe AI's System One модель) с GPT-5.6 Luna/Terra и Claude Sonnet 4.6 как judge для agent evals. Результаты: Jev показал variance в 92–913× ниже, точность 100% на binary pass/fail (500 запусков), скорость 0.44s/call и стоимость $0.34 total против $28.17 у Claude. System One модели — новый третий тип evaluator (code-based → LLM-as-judge → System One).
Из этого следует, что третий тип evaluator'ов меняет экономику тестирования AI-агентов: binary check'и больше не нужно прогонять через дорогие LLM, что снижает COGS evaluation-пайплайнов в 80+ раз.
На практике для Revit-MCP-агентов System One модель — идеальный кандидат для pre-commit валидации: проверка синтаксиса сгенерированного Revit API-скрипта, соответствие ожидаемой схеме вызова — всё это binary классификация.
Важный нюанс: ограничение System One — только бинарные категории. Для nuanced evaluation (качество архитектуры, стиль кода) LLM-as-judge остаётся необходимым. Вывод: гибридный pipeline — System One для фильтрации + LLM для глубокой оценки.
Дополнительный инсайт: низкий variance решает проблему «гадайки» в CI/CD — evaluation перестаёт быть flaky, что критично для автоматического регрессионного тестирования Revit-агентов.