LangSmith Fine-Tuning — траектории как данные для post-training coding agents
Саммари
LangSmith Fine-Tuning и CLI smithtune показывают полный цикл post-training: от production trajectories до отобранного датасета, SFT через Fireworks или Baseten, replay evaluation и deployment. Главный тезис — модель специализируется на повторяющихся задачах не по общему instruct-корпусу, а по точному контексту успешных действий инструментов. В двух внутренних экспериментах авторы получили рост качества или снижение числа вызовов, одновременно показав, что небрежный отбор траекторий ухудшает результат.
Из этого следует, что data selection — отдельная инженерная стадия, а не финальная уборка перед SFT: некачественные examples способны ухудшить модель.
На практике trajectory важнее финального ответа, потому что она сохраняет доступность tools и позволяет обучать именно на действиях, доступных в каждом decision point.
Важный нюанс: SFT не заменяет harness engineering; авторы рекомендуют сначала исчерпать prompts и execution loop, а fine-tuning рассматривать после накопления устойчивых успешных траекторий.