Карта бенчмарков экономики США — 90% рабочих часов выпадают из покрытия AI-бенчмарков
Саммари
Mercor собрала индекс из 29 агентных бенчмарков и сопоставила каждый промпт с задачами американской трудовой таксономии O*NET — получилась интерактивная «карта покрытия» из 923 профессий и 18 797 задач. Главный результат: 90% рабочих часов в США приходится на задачи с малым или нулевым покрытием существующих бенчмарков, а из 923 профессий лишь 208 имеют хотя бы одну задачу с пятью и более промптами. Для команд, выбирающих AI-инструменты, это принципиальный аргумент: упоминания «модель на SOTA-бенчмарке» почти ничего не говорят о её пригодности для работы, которую реально выполняет ваша компания.
Из этого следует, что «наш инструмент работает на SWE-bench» — слабое свидетельство для не-разработческих процессов: покрытие задач вашей компании (секретари, клерки, инженеры-строители) в бенчмарках может быть нулевым, а значит и внешних данных о пригодности модели не существует — останется только собственный eval.
На практике для AEC: Architecture & Eng покрыта бенчмарками лишь на 19 из 56 профессий, а задачи чертёжного труда, спецификаций и обмеров вообще не представлены — для Revit-агентов это прямое обоснование строить свои замеры, как в Doc2Harness (S146).
Важный нюанс: карта полезна и как инструмент скрининга при выборе модели под конкретный процесс — семейство профессий и доля покрытых задач дают быстрый эвристический ответ, стоит ли ждать внешний бенчмарк или нужен свой с первых дней.
Ограничение: покрытие промптами ≠ качество: бенчмарк может покрывать задачу тремя лёгкими промптами, а непокрытие — отражать новизну, а не бесперспективность; индекс измеряет известность, а не решённость.