Treat Agent Like Compiler — опыт Bridgewater PAT
Саммари
Production-кейс Bridgewater Associates: внутренний AI-аналитик PAT (Pocket Analyst Tool) обрабатывает запросы сотен инвесторов ежедневно. Ключевое архитектурное решение — код есть compiled artifact, а не conversation; plan — типизированное промежуточное представление (IR); компиляция идёт параллельно; валидация — обязательный проход, который агент не может пропустить. На внутреннем тест-сьюте два разных агента, запущенные на одном плане, дают идентичный код в 95% случаев.
Из этого следует, что воспроизводимость — не свойство модели, которое можно «купить», а архитектурное свойство: верификацию нужно вынести из промпта в код, который модель не сможет обойти уговорами.
На практике главный артефакт — типизированный план: если между запросом пользователя и сгенерированным кодом нет артефакта, план всё равно существует, просто живёт в контексте модели, где его нельзя ревьюить, диффить и переиспользовать.
Важный нюанс: все цифры (95%, 4×, 50→90%) — самоотчёт с внутренних бенчмарков без опубликованного evaluation set; архитектурный аргумент от этого не рушится, но проверять их нужно на собственных тестах.