RAG — это две машины: почему один агрегированный score прячет деградацию retrieval
Саммари
Дашборд RAG-eval зелёный: faithfulness 0,91, answer relevance 0,88, LLM-as-a-judge говорит, что система в порядке. При этом пользователь задал вопрос, ответ на который лежит в документе, который ретривер никогда не поднял, а модель уверенно написала структурированный ответ по смежной теме. Судья поставил высокий балл — ответ был честным относительно полученного контекста, просто контекст был не тот.
Из этого следует: LLM-as-a-judge в RAG измеряет не систему, а генератор — и именно поэтому он так уверенно зелёный при деградировании поиска.
На практике для агента-«учителя» на курсе это означает, что evals разделяются на два контура: собственный набор «вопрос → абзац урока» с recall@k в CI, и отдельная оценка формулировки ответа по золотому контексту.
Важный нюанс: регрессия retrieval может идти неделями без единой правки кода — из-за роста корпуса, смены модели эмбеддинга или дрейфа запросов. Поэтому recall@k стоит мерять и на продуктовом трафике по ротирующейся выборке, а не только на статичном наборе.