Дешёвая модель-фильтр перед Claude: два вопроса вместо большого разбора
Саммари
Автор описывает, как отсеивал мусор перед дорогой моделью в своём контент-пайплайне «Лаборатория» (ежесуточный разбор сохранёнок из Telegram силами Claude Sonnet плюс редакторский проход): на 67 размеченных материалах 28 оказались ненужными, и Sonnet честно писал по ним полный разбор ради того, чтобы редактор его выбросил. Вместо второй LLM перед Sonnet заступил Jev от TypeSafe — узкая модель для закрытых вопросов, которая возвращает вероятности по словарю вариантов, — и за две недели работы показал AUC 0,95 на задаче отбора при стоимости около сотой доли цента за вызов. Ключевой вывод посвящён не модели, а формулировке вопроса: одна и та же модель провалилась с AUC 0,46 и выиграла с 0,95 в зависимости от того, перечислены ли в вопросе настоящие причины отказа.
Из этого следует, что главный рычаг качества классификации перед LLM — не выбор модели, а трансляция причин отказа из журнала решений в текст вопроса: AUC 0,46 против 0,95 на одной и той же модели показывает, что «полезность вообще» — не вопрос, а пустое место.
На практике для Revit- и business-агентов паттерн выглядит так: перед очередным дорогим проходом (генерация разбора, ревью, чертёж) поставьте узкий классификатор с взаимоисключающими вариантами и порогом, настроенным на ошибку «не выбросить хорошее», — а все отказы пусть идут в большую модель.
Важный нюанс — симметрия ошибок: пропущенный мусор стоит одного лишнего вызова, ошибочно отсеянный хороший материал невидим, поэтому порог сознательно занижают; та же логика применима к triage обращений и очередей задач.
Ограничение: подтверждение «68% совпадений с эталоном» — самооценка вендора, а результаты AUC получены на выборке в 67 материалов одного автора; для чужого домена порог и формулировки придётся перенастраивать заново.