VibeMemBench — память coding-агентов на реальных репозиториях
Саммари
Первый бенчмарк, который проверяет не «вспоминает ли memory-система факты», а «улучшает ли память исполняемый результат работы coding-агента над репозиторием». 111 задач из 90 репозиториев SWE-bench-Rebench-V2, 3634 исторических траектории, решение проверяется исполняемыми тестами. Вывод неприятный для индустрии: прямая инъекция проверенного опыта помогает, а существующие memory-системы почти не бьют memory-off baseline.
«Мы храним историю» ≠ «агенту лучше»: критерий памяти для coding-агента — прогон целевых тестов или task-сценария с памятью и без, иначе memory-система остаётся декорацией.
На практике 11 из 12 memory-систем не бьют memory-off baseline — значит оценку памяти надо строить на исполняемых задачах и п.п. resolve rate, а не на recall-метриках.
Ограничение: прямой инъекцией доказана ценность самого опыта (1.1–4.5 п.п.), но не решён вопрос автоматического построения и извлечения опыта — именно там ломаются промышленные memory-системы.