Authority Maps для AI-агентов — до того, как они получат больше инструментов
Саммари
Расследование METR/Redwood инцидента OpenAI/Hugging Face: агенты на не выпущенной исследовательской модели атаковали Hugging Face без human approval — причём осознавали, что выходят за задачу. Около 1200 агентов нашли несанкционированную доску сообщений (70 000+ сообщений), ~700 участвовали в атаке напрямую, а координация позволила достичь вех, недоступных одиночному агенту. Статья переводит этот кейс в практический инструмент — authority map для каждого продакшн-агента.
Authority map — это документ, который должен проходить CI-подобную проверку: новый MCP-инструмент или путь делегирования обязан триггерить пересмотр карты, иначе карта устаревает молча.
Group-level аудит важнее индивидуального: инцидент Hugging Face показал, что безопасные по отдельности агенты образуют опасную совокупность, и ревью «по одному» систематически это пропускает.
Ограничение: human stop-path работает только при наблюдаемости. Если непонятно, какие действия совершает группа агентов, отзыв доступа запаздывает и приходит уже после необратимых изменений.