Google Research выложила Harness² — фреймворк самоулучшения агентской обвязки
🛠 Google Research выложила Harness² — фреймворк самоулучшения агентской обвязки
Google Research открыла код Harness² — фреймворка, который рекурсивно улучшает харнесс (обвязку) ИИ-агента: восемь компонентов от system prompt до плагинов. Внутри одной задачи работает цикл Propose-Probe-Compose: редактор (по умолчанию Claude Opus 4.8, модель конкурента) предлагает две правки — инвариантную и доменную, каждая прогоняется на той же задаче, затем сравниваются поведенческие различия. Второй уровень рекурсии копит подтверждённые уроки в библиотеке опыта, но следующая задача всё равно стартует с базовой обвязки. Заявленный эффект: слабая модель с улучшенной обвязкой обгоняет сильную без неё. Для русскоязычных агентских проектов это ещё один слой поверх GigaChat или YandexGPT, но потребует адаптации под локальные инструменты и проверки на своих задачах.
• Максимальный прирост за один шаг: WorkBuddy-Bench +11.5 балла (GLM-5 + OpenCode: 64.2 → 75.7); JobBench +4.5 (Gemini 3.5 Flash: 31.5 → 36.0); LAB (юридический) +11.8 п.п. (GLM-5: 59.6 → 71.4).
• Бюджет рекурсии k от 1 до 5: переход с k=1 на k=5 добавляет на WorkBuddy-Bench 2.9–3.9 балла, на JobBench 3.0–4.2, на LAB 2.6–6.7 п.п.
• Исполнители: OpenCode (по умолчанию) и Codex; macOS не поддерживается, для реальных прогонов нужен Google Cloud Vertex AI.
Главный риск Harness² — не цена, а то, что поведенческое различие не гарантирует правильность: редактор видит другое поведение и засчитывает его как улучшение, не имея эталонного ответа. В проде такой механизм может закрепить ошибки, которые бенчмарки не ловят, особенно на доменных задачах вроде юридических документов. Прежде чем внедрять, стоит прогнать его на своих сценариях с ручной проверкой, а не доверять средним приростам.
Habr
#Harness2 #GoogleResearch #AIagents #обвязка #opensource
Такие разборы выходят в канале каждый день — коротко и со ссылкой на первоисточник.