How an AI Agent Decides Credit or Blame — формальный credit assignment
Саммари
Deep research с 216 прочитанными источниками и 14 аудированными ресиптами. Предлагает формальный метод credit assignment для траекторий AI-агентов: reconstruction → admissible alternatives → counterfactual replay → uncertainty-aware estimation → smallest reversible repair. Метод разделяет plan error и execution error и принципиально не назначает blame там, где нет доказательств.
Credit assignment превращает «агент сломался» в проверяемую гипотезу о конкретном decision point — без этого правки уходят вслепую и часто ломают уже работавшее поведение.
Ограничение метода — стоимость: counterfactual replay требует повторных прогонов недетерминированной модели, поэтому для длинных траекторий экономнее ограничивать аудит подозрительными шагами, а не прогонять всё.
Критика: формальная строгость метода ограничена качеством admissible alternatives — если набор доступных действий восстановлен неверно, весь counterfactual-анализ даёт уверенный, но неверный вывод.