HarnessSecurity-Bench — системный бенчмарк защиты coding-агентов
Саммари
Крупнейшее на сегодняшний день эмпирическое исследование безопасности coding-агентов: 6 ведущих harness (Claude Code, Codex CLI, Gemini CLI, gptme, Qwen Code, GitHub Copilot), 23 задачи на 5 поверхностях атаки, 2 500 прогонов, 81 155 вызовов инструментов, более 2,2 миллиарда токенов. Авторы впервые строят таксономию из 10 защитных механизмов, оценивают 400 ячеек «harness × механизм» и экспериментально проверяют, что реально даёт каждая защита. Основной вывод: включение auto-approve поднимает успешность атаки с 29,2% до 95,6%, а allowlist/denylist команд — единственные механизмы, которые снижают эффект атаки с минимальной потерей утилитарности задачи.
Главный вывод: «безопасность harness» — не чек-бокс, а конфигурация. Один и тот же Claude Code с auto-approve и без него — это два разных уровня защиты, различающихся на 66 п.п. успешности атаки. Сравнивать harness по «наличию защиты» без указания конфигурации бессмысленно.
Для Revit-инструментов allowlist команд — наиболее подходящая модель: разрешаем только revit://, python и batch-скрипты с явным allow, остальное блокируем. Сеть по умолчанию закрыть нельзя (агент тянет модели по API), но выходящие соединения к не-эндпоинту модели стоит резать.
Важный нюанс: 50% реализаций защит — opt-in, и закрытые harness не документируют свои механизмы. Пользователь не может проверить, «есть ли сетевой контроль» в Claude Code, не поставив эксперимент. Это проблема vendor transparency.
Ограничение: модель фиксирована (GLM-5.2), harness-конфигурации — сентябрь 2026. Результаты валидны для сравнения механизмов, но абсолютные числа успешности атак устареют с новыми версиями harness.