Eval harness для prompt-injection — что показало измерение защит
Саммари
Разработчик построил LangGraph-агента (travel concierge с RAG, CRM, веб-поиском и отправкой писем), намеренно сломал его пятью классами атак и затем собрал eval-harness, чтобы измерять эффективность защит вместо «чувства безопасности». Итоговые цифры перевернули представления автора: иерархия инструкций + allow-list снизили успех атак с 64% до 16%, а «сильнейший» dual-LLM guard не только не помог — он ухудшил результат до 20% и повысил RAG-отравление с 80% до 100%.
Защиту нужно измерять поштучно и по классам атак: агрегированный «стало безопаснее» скрывает, что один слой помогает, а другой ухудшает результат.
False positive заслуживает отчётности не меньшей, чем пропуск атаки: полный стек, топящий benign pass rate до 50%, — это сломанный продукт, а не безопасный.
RAG data poisoning остаётся открытой проблемой: структурные слои, ориентированные на инструкции, принципиально не ловят отравление фактов в документах.