DocsChisel повысил успешность LLM-агентов на 95% за счёт адаптивной документации инструментов
🧠 DocsChisel повысил успешность LLM-агентов на 95% за счёт адаптивной документации инструментов
Когда агент на основе большой языковой модели ошибается при вызове внешнего API, разработчик обычно винит запрос или саму модель — и почти никогда не смотрит на документацию инструмента. Авторы статьи показали, что неизменяемая документация плохо подходит для разных предметных областей, моделей и даже разных подходов к построению агентов: один и тот же набор полей в JSON-спецификации может давать разброс успешности в десятки процентов. Никакой «идеальной» неизменяемой документации не существует.
Система DocsChisel решает эту проблему итеративно: она анализирует журналы неудачных запусков целевого LLM-агента и для каждого инструмента подбирает оптимальный набор информационных полей — что-то добавляет, что-то удаляет, что-то уточняет. Оптимизация происходит по журналам ошибок, а не по заранее заданным шаблонам, и требует ограниченных вычислительных ресурсов — авторы отдельно подчёркивают скромные накладные расходы и по токенам, и по времени.
В экспериментах DocsChisel увеличил долю успешных выполнений задач на 95,89% по сравнению с исходной документацией и на 75,15% в среднем относительно двух актуальных методов — EasyTool и DRAFT. Конкретные цифры из статьи: средний прирост успешности составил от 23 до 95 процентных пунктов в зависимости от базовой модели и предметной области; ни один из предыдущих подходов не приближался к таким показателям без ручного вмешательства.
Когда документация инструмента превращается из неизменяемого описания в адаптивный параметр, меняется жизненный цикл агентного продукта: после каждого обновления модели или смены предметной области документацию нужно повторно оптимизировать. А это значит, что в CI/CD-конвейере агента вскоре появится шаг «запустить DocsChisel» — и не факт, что конвейеры к этому готовы.
arXiv
#DocsChisel #агенты #оптимизация #инструменты #LLM
Такие разборы выходят в канале каждый день — коротко и со ссылкой на первоисточник.