Инструкции — это свидетельство, а не цель: outcome alignment у coding-агентов
Саммари
На 100 реальных траекториях SWE-chat авторы показывают, что исходные инструкции пользователя систематически неполны: 56% из них не содержат требований, которые позже становятся обязательными, а 52% полезных уточнений можно было вывести из самого проекта. Отсюда тезис: инструкция — это свидетельство о задаче, а не сама задача; агент должен выводить истинные требования из инструкции и окружения и выполнять их, даже когда пользователь ещё не осознаёт их всех. Способность названа outcome alignment, бенчмарк — TiGanEval, и результат жёсткий: при переходе от полной спецификации к частичной инструкции 8 фронтовых моделей теряют 53–67 п.п. success rate, а обратная связь о последствиях по четырём submission'ам разрыв не закрывает.
Из этого следует, что ошибка «агент сделал не то» в большинстве случаев — не про невнимательность, а про структуру: задача приходит неполной, и компенсировать это обязан механизм, а не надежда на то, что пользователь всё объяснит.
На практике для любого агентного бизнес-процесса — поддержка, документооборот, разработка: заранее закладывать в харнес контур «выведи требования из окружения и проверь», вместо того чтобы считать исходный запрос исчерпывающим.
Важный нюанс: plan-mode и харнесы не спасают — 53–67 п.п. теряются именно на переходе к частичной спецификации, а обратная связь о последствиях не помогает; усиливать нужно саму модель, поэтому ждать решение от оболочки бессмысленно.
Ограничение: замер сделан на задачах SWE-домена и на четырёх submission'ах; перенос цифр на другие сферы требует осторожности, но сам факт неполных инструкций подтверждён на реальных траекториях, а не на синтетике.