CAVEAT — устойчивость агента к враждебной мотивации среды
Саммари
CAVEAT изучает ситуацию, в которой computer-use агент действует в среде, заинтересованной не в интересы пользователя: маркетплейс может продвигать чужие продукты, менять выдачу или подталкивать к определённому выбору. На девяти marketplace-средах и восьми steering-механизмах доля покупки пользовательски оптимального продукта падает с 78,6% до 17,3%, а специальный harness поднимает её на 55,0%.
Из этого следует: robustness — это не только устойчивость к prompt injection, но и способность не принять цель среды за цель пользователя.
На практике Revit-агент должен хранить пользовательский критерий отдельно от результатов внешнего контента и проверять, не сузил ли MCP-ответ список допустимых решений.
Важный нюанс: +55,0% в CAVEAT-Harness — результат конкретного marketplace-бенчмарка; перенос на BIM потребует собственных сценариев конфликта целей и измерения regret.