Как Anthropic сдерживает Claude — три паттерна изоляции и цена agent security
Саммари
Anthropic разбирает, как ограничивают «blast radius» агентов в трёх своих продуктах — claude.ai, Claude Code и Claude Cowork. Статья — редкий production-разбор от владельца инфраструктуры: три типа риска, три слоя защиты, три архитектурных паттерна изоляции и четыре конкретных инцидента, которые стоили уязвимостей. Главный вывод: human-in-the-loop не является защитой, а probabilistic-оборона никогда не даёт 100%.
Из этого следует: подтверждения — не слой защиты, а UX. Число 93% и падение до нуля на 84% после песочницы показывают, что human-in-the-loop надо проектировать как слой слоёв, а не как «диалог подтверждения».
На практике для Revit-агента это прямо переносится: MCP-сервер, который пишет в модель, должен быть ограничен рабочей папкой, а сеть — закрыта по умолчанию; иначе агент, работающий с чертежом, получает доступ ко всей файловой системе машины.
Важный нюанс: два самых дорогих инцидента (фишинг сотрудника и обход allowlist) — это эксфильтрация через разрешённый путь. Ни один классификатор в модели их не увидит, потому что аномалии нет — есть штатный разрешённый запрос.