Язык как поверхность атаки для guard-моделей агентов — LinguaGuardBench на 489 тыс. вердиктов
Саммари
Step-level guard — модель, которая перед каждым вызовом инструмента решает, безопасно ли следующее действие агента, — обучается и оценивается на английском, тогда как пользователи пишут запросы на десятках языков. Авторы перевели только пользовательскую инструкцию на немецкий, французский, турецкий, суахили и амхарский (все остальные части траектории оставили байт-в-байт идентичными) и показали на 19 guard-моделях, что вердикт зависит от языка: чем реже язык, тем сильнее сдвиг. Особенно чувствительны небольшие и purpose-built охранники — у guard'ов младше 13B средний placebo-adjusted flip rate растёт с +1.5 п.п. на французском до +4.4 п.п. на амхарском.
Из этого следует, что мультиязычность агентного продукта — это не только UX, но и security surface: guard, который корректно работает на английском демо, может тихо терять recall на запросах реальных пользователей.
На практике для любых агентных систем, включая Revit-инструменты с русскоязычными пользователями: guard'ы и разрешающие политики надо валидировать на языках своей аудитории, а не только на английском наборе бенчмарка.
Важный нюанс: защита масштабируется размером и доменом обучения — frontier-модели почти стабильны, а самые узкие маленькие охранники уязвимее всего, то есть trade-off «узкая модель дешевле» прямым образом бьёт по безопасности.
Ограничение: переводилась только пользовательская инструкция, а не вся траектория; эффект может быть иным там, где агентская память и системные промпты тоже мультиязычны.