DesignLore — бенчмарк и метод design-aware code review на историях Linux-ядра
Саммари
Работа вводит понятие design-aware code review — ревью, которое оценивает не только локальную корректность, а архитектурные компромиссы предлагаемого изменения, альтернативы и совместимость с ограничениями проекта, — и показывает, что в этой плоскости текущие coding-агенты почти беспомощны: сильнейший baseline выдаёт F1 всего 0.213 на обнаружении design trade-off'ов. Предложенный метод DesignLore извлекает design-решения из историй обсуждений ревью, собирает из них адаптивную таксономию и переиспользует их при новом ревью, поднимая F1 до 0.259 (+21.6% относительно). Вместе с методом опубликован DesignReviewBench — бенчмарк на реальных историях патч-ревью.
Из этого следует, что «архитектурное ревью агентом» упирается не в reasoning ability модели, а в недоступность исторического контекста решений: агент видит патч, но не видит, почему проект десять лет назад выбрал другой вариант.
На практике для Revit-инструментов: база design-решений (ADR или выжимки из обсуждений MR) может стать отдельным источником контекста для агентного ревью — дешевле, чем пытаться заставить модель чувствовать архитектуру.
Важный нюанс: абсолютный уровень 0.213–0.259 означает, что design-часть ревью пока нельзя отдавать агенту как единственному арбитру — метод усиливает, но не заменяет человека.
Ограничение: бенчмарк построен на реальных, но одном типе проекта; для закрытых корпоративных репозиториев с бедной историей обсуждений выгода от подобного метода может оказаться минимальной.