LangSmith Engine v2 — red teaming агента и проверка исправлений до human review
Саммари
LangSmith Engine v2 добавляет proactive red teaming, обнаружение неэффективных траекторий и автоматическую проверку предложенных исправлений. Движок работает с production traces и репозиторием, воспроизводит проблемные входы в LangSmith Deployment и доводит fix до состояния, которое можно показать человеку вместе с PR. Это важный переход от пассивного trace viewer к циклу proactive issue → fix → validation.
Из этого следует, что зрелый eval-контур должен проверять не только вход и ответ, но и качество пути: cost, latency и повторяющиеся tools могут быть дефектом даже при успешном final answer.
На практике pre-validation fix полезнее ещё одного generic alert, потому что инженер получает воспроизводимый случай, предложенный патч и результат replay-проверки до production.
Важный нюанс: Private Beta и vendor benchmark нельзя выдавать за универсальную гарантию; нужны собственные adversarial cases, regression set и контроль стоимости red teaming.