Свой бенчмарк для выбора модели — 24 вопроса, 450 прогонов, разброс в 40 раз
Саммари
Публичный рейтинг отвечает на вопрос «насколько модель знает вообще», а не «как она справится с моими задачами и сколько это будет стоить». Статья описывает самодельный бенчмарк для ИИ-ассистента лаборатории: 24 вопроса, живой журнал, 31 инструмент из 58, 19 сочетаний модели и уровня усилий при рассуждении, около 450 прогонов. Результаты на таком маленьком наборе разошлись от 75% до 100% по качеству и примерно в сорок раз по стоимости.
Из этого следует: набор из 24 вопросов уже различает модели, которые публичные рейтинги показывают как сопоставимые. Для выбора модели этого достаточно — вопрос не в объёме бенчмарка, а в его происхождении из своей работы.
На практике для Revit-инструментов: тот же приём строится из типовых операций агента — найти элемент по параметру, прочитать свойство из вложенного семейства, посчитать по полученным данным, распознать противоречие в значениях и отказаться при нехватке данных. 20–30 вопросов такого рода дадут разброс, достаточный для выбора.
Важный нюанс: ось «со ссылкой» — самая переносимая часть методики для агентных систем. Требование назвать источник значения превращает ответ из непроверяемого утверждения в ссылку, которую можно открыть, и это работает в любом домене.
Второй нюанс: разброс стоимости в сорок раз при одинаковом наборе вопросов означает, что выбор модели по цене требует считать на своём трафике, а не пользоваться чужими ценами за токен.
Третий нюанс: режим «только чтение» для бенчмарка выбран сознательно — так ошибки модели не превращаются в изменения в рабочих данных. Для Revit-агента это означает собственный read-only режим при оценке.
Четвёртый нюанс: группа «ловушки» проверяет не знание, а устойчивость к заведомо плохим входным данным — канал температуры, скачущий между кодами. Это отдельная ось, которую большинство бенчмарков не измеряет.