When an Agent Fails — менять модель или систему?
Саммари
Deep research на 174 источника, систематическая рамка для диагностики отказов AI-агентов: что именно чинить — модель или инфраструктуру? Полезное различие — не «слабый интеллект против плохой инженерии», а какое вмешательство устраняет критичные отказы и выдерживает реалистичные издержки и проверки. Ответ даётся через диагностику, а не через смену модели по умолчанию.
Смена модели — самое дорогое и самое заметное вмешательство, поэтому её часто выбирают первой там, где сначала следовало проверить harness, промпт и набор инструментов.
Критерий «maintained past successes» важнее локального успеха: без него правка под конкретный adversarial-кейс может тихо деградировать уже работавшее поведение.
Ограничение: диагностика требует воспроизводимых failure instances, а недетерминированность модели усложняет сбор стабильного набора — без фиксированных seed и temperature рамка работает хуже.