TwinCheck — проверка counterfactual-действия для stateful tool agents
Саммари
TwinCheck предлагает осторожную замену действия агента: не вмешиваться только потому, что трасса кажется подозрительной, а сначала построить evidence-grounded negative twin и проверить, что альтернатива действительно лучше. На 159 multi-turn задачах BFCL V4 policy подняла success GPT-5.6 Sol с 45,3% до 58,5% без наблюдаемых переходов из success в failure.
Из этого следует: безопасное исправление агента должно сравнивать конкретную альтернативу, а не только классифицировать исходный вызов как плохой.
На практике для Revit-инструментов negative twin можно строить как альтернативный вызов с тем же precondition и проверить dry-run, транзакцию и сохранённый state до commit.
Важный нюанс: exact replay даёт чистое сравнение, но не гарантирует, что альтернативный вызов безопасен для нового состояния; нужен отдельный execution boundary и проверка побочных эффектов.