LoLBench — почему агент не может выполнить задачу, которую сам не может и прочитать
Саммари
Современные бенчмарки сместились в сторону длинных задач с большими эталонными реализациями, но устроены так, что проверяют только умение писать код по подробной спецификации. Реальная модульная разработка требует ещё и восприятия: связать намерение пользователя и высокоуровневый дизайн с конкретной спецификацией. LoLBench проверяет обе способности сразу на всём пути от предложения до реализации — и показывает, что лучший из 28 агентов закрывает лишь 14% задач.
Из этого следует: на больших системах узкое место агента — не генерация кода, а локализация. Все 16–22 процентных пункта в этом исследовании куплены подачей дерева файлов, а не сменой модели.
На практике для Revit-агента это почти буквальная рекомендация: Revit API и документация весят больше, чем типовой репозиторий из LoLBench, и подача агенту карты (какие пространства имён, какие классы, какие методы) должна быть первым шагом, а не оптимизацией после первых провалов.
Важный нюанс: 34% — это потолок даже с эталонным деревом. То есть карта файлов снимает только часть проблемы восприятия; вторая половина — перевод намерения в корректную спецификацию — остаётся открытой.
Второй нюанс: метрика Fail-to-Pass (52,7%) сильно выше resolved rate (14%). Значит, «тест стал зелёным» и «задача решена» — разные события, и опора только на F2P завышает оценку работы агента.