Разбор деградации Claude Code — три причины, которые выглядели как «модель стала тупее»
Саммари
Пользователи Claude Code месяц жаловались, что ответы стали хуже. API при этом не был затронут, внутренниеusage-графики и evals показывали норму. Anthropic разобралась и нашла три независимые причины — дефолтный effort, баг кэша и инструкция в системном промпте. Разбор ценен не списком причин, а тем, что ни один из них не был найден обычными eval-ами: каждый затрагивал свой срез трафика в своё расписании.
Из этого следует: у агента есть дефолты, и они меняют поведение всего потока — смена дефолтного effort или правки промпта это продуктовое изменение, а не тюнинг, даже если внутренние тесты зелёные.
На практике для Revit-агента это означает, что правки в инструкциях агента должны проходить через свой набор evals с абляциями, а не «посмотрели глазами, стало лучше».
Важный нюанс: два из трёх багов прошли ревью, unit- и end-to-end-тесты. Защита дали не тесты, а воспроизведение на реальном трафике и бэктест с более сильной моделью на реальных артефактах.