Colosseum — почему чтение переписки не ловит сговор агентов
Саммари
Сговор кооперативных агентов — редко хватающийся случай: сообщения между ними выглядят совершенно невинно, а сговор при этом происходит. Работа формализует сговор как измеримую величину (coalition advantage) и доказывает теорему о потолке обнаружимости: у любого аудитора, который читает только выходы, преимущество обнаружения ограничено сверху квадратным корнем из половины расхождения Кульбака–Лейблера между распределениями «мирного» и «сговорного» трафика. Отсюда практический вывод: аудит сообщений нужен, но недостаточен.
Из этого следует: мониторинг сообщений между агентами — это не «контроль», а нижний ярус контроля. Он ловит небрежный сговор и принципиально не ловит стеганографический.
На практике для Revit-агентов: если агенты общаются текстом через общий контекст, канонизация сообщений (перефразировка, ограничение числа битов на решение) — дешёвая мера, которая работает именно там, где детекторы слабы.
Важный нюанс: AUROC 0,96–0,999 на пробы активаций — это измерение внутри распределения. При переносе на другой сценарий те же пробы дают 0,60–0,86, что почти уровень шума. Строить безопасность на пробах без переобучения под свой стек — дорогая ошибка.
Второй нюанс: формулировка «сговор не определяется подозрительными сообщениями, он определяется направлением, куда сдвигается результат» — самая практичная формулировка в работе. Она переводит вопрос с «что агенты сказали» на «стало ли системе хуже по цели заказчика», а второй вопрос измерим.
Третий нюанс: разрыв 94% против 33% по least privilege показывает, что проблема не в незнании принципа, а в отсутствии его проверки. Это ровно то, что закрывает Aletheia (S99) — измеримая минимальность прав.