AI-инструменты18.09.2026•~1 мин чтения
SWE-Proof — формальная верификация для SWE-bench
Саммари
Расширение SWE-bench Verified формальной верификацией: 500 issues с machine-checked proof. Результат: 25–50% патчей, проходящих тесты, содержат контрпримеры. С корректной формальной спецификацией Opus 4.8 поднимает resolution с 85% до 95%.
1
Из этого следует: тесты — недостаточная гарантия для AI-генерированного кода. 25–50% ложноположительных патчей — критический риск для safety-critical систем.
2
На практике: формальная верификация критична для BIM: тесты не гарантируют корректность геометрии или соответствия строительным нормативам. SWE-Proof-подход может применяться к Revit API-скриптам.
3
Важный нюанс: качество спецификации — слабое звено. 62% проходят аудит, но 38% содержат ошибки, которые сводят на нет преимущества формальной верификации.
Теги:#ai-кодинг#эмпирика#качество кода
Первоисточник: export.arxiv.org
Оригинал источника