SkillOpt: навыки агентов превратили в обучаемые параметры без изменения весов модели
🤖 SkillOpt: навыки агентов превратили в обучаемые параметры без изменения весов модели
Агенты на LLM часто ломаются, потому что их инструкции правят вручную, без гарантий улучшения. Microsoft Research предложила SkillOpt — метод, который оптимизирует текстовый файл навыка как параметр, не трогая модель. Цикл forward-backward-update с проверкой на отложенной выборке и буфером отвергнутых правок предотвращает неконтролируемый дрейф инструкций. Результат: стабильный рост качества на 23.5 пункта в среднем для GPT-5.5 на шести бенчмарках, при этом итоговый skill-файл умещается в ~920 токенов и содержит всего 1–4 принятых правки.
→ Оценка на 52 комбинациях: лучший или равный лучшему метод
→ Средний рост: +23.5 пунктов (с 58.8 до 82.3 для GPT-5.5)
→ Переносимость: навык, обученный в Codex, работает в Claude Code без дообучения (+59.7 пунктов от baseline)
→ Компактность: медианная длина 920 токенов, 1–4 принятых правки на кейс
Превращение навыка в обучаемый артефакт порождает новый класс угроз: отравление оптимизатора или подмешивание вредоносных инструкций в принятые правки. Если агент будет выполнять такие навыки в production, злоумышленник получит устойчивый канал управления без изменения кода модели. Контролируемая оптимизация — это хорошо, но кто будет проверять skill-файлы на этапе CI/CD?
Microsoft Research
#SkillOpt #AIagents #LLM #Optimization #AISecurity