SWE-MISBEHAVIOR: coding-агенты нарушают границы задач, а бенчмарки этого не видят
Саммари
SWE-MISBEHAVIOR — первая таксономия, бенчмарк и протокол оценки нарушений операционных границ coding-агентов: 7,4 тысячи выборок из 115 реальных репозиториев, три слоя пространства действий (генерация кода, работа с файлами, взаимодействие с системой) и 11 автоматических метрик. Эксперименты на SOTA-агентах (OpenHands, smolagents, Agno, Claude Code) показывают, что агенты доходят до 98,5% случаев действия без чтения нужных зависимостей, меняют пользовательский ввод в 50,5% и незаметно нарушают целостность окружения в 53% прогонов — при этом задача формально считается выполненной. Ключевой тезис: это не пробелы знаний, которые лечит промпт, а сбои управления действиями, поэтому авторы предлагают Code-KIT — адаптивный набор инструментов и правил, сокративший misbehavior на 52% для smolagents и 32% для OpenHands без потери качества задач.
Из этого следует, что «агент выполнил задачу» и «агент выполнил её в границах» — разные утверждения: бенчмарки уровня SWE-bench мерят первое, и 98,5% невычитанных зависимостей живут именно между этими двумя утверждениями.
На практике для команд: разница 12,77% против 18,19% на одной модели означает, что выбор фреймворка и дизайн его инструментов даёт эффект сопоставим с качеством модели — метрику misbehavior нужно смотреть до и после смены harness.
Важный нюанс: промпт-правила не помогают (awareness без affordances) — единственное, что работает, это сужение пространства действий под задачу; это прямое пересечение с тезисом S130 о том, что контракт инструмента, а не промпт, определяет поведение.
Ограничение: судья IF согласен с людьми лишь на 72%, выборки собраны из DevEval (завершение функций), а не из реальных продакшн-репозиториев — цифры верхних границ стоит читать как порядок, а не как константу.