Одна модель, три харнеса: разница 51 пункт в пользу CUGA
📊 Одна модель, три харнеса: разница 51 пункт в пользу CUGA
Смена харнеса при одной и той же open-weight модели GLM-5.3-flash подняла долю выполненных задач AppWorld с 30% до 81%. IBM Research сравнила CUGA, Hermes от Nous Research и Deep Agents от LangChain на 90 задачах в 30 сценариях, каждому харнесу дали одну попытку на задачу. Все прогоны шли через один фреймворк оценки Harbor, конфигурации публичны. По данным Hugging Face, разница достигнута без изменения весов.
Ключевая метрика — не только TGC (задачи пройдены), но и SGC (сценарии, где пройдены все три варианта). SGC наказывает за нестабильность: случайная удача не засчитывается. Здесь разрыв ещё больше: CUGA прошла 20 сценариев, Hermes — 8, Deep Agents — 2. Это указывает на более воспроизводимое поведение CUGA в многошаговых задачах, а не просто на лучший средний результат.
CUGA добавляет то, что бенчмарк не измеряет: политики, которые исполняет сам харнес, а не модель. Правила вроде лимита платежа или запрета на удаление записей выносятся из промпта в рантайм: Tool Approval ставит жёсткую остановку для одобрения человеком, ToolGuard блокирует вызов до выполнения. Пример из статьи: агент без политик заплатил $90, включая просроченное требование в коллекции, с политиками — запросил одобрение и заплатил только $10. Для корпоративных систем это разница между инструкцией и принудительным соблюдением правил.
Сравнение провела команда CUGA, и конфигурации не идентичны: CUGA использовала свою AppWorld-конфигурацию с декомпозицией задач и верификацией, а Hermes и Deep Agents — стандартные настройки Harbor. Выборка из 90 задач мала, политики в этих прогонах не тестировались. Авторы предлагают прислать конфигурацию для повторного запуска и обещают опубликовать результаты, кто бы ни выиграл.
Разница в 51 пункт на одной модели сильнее, чем прирост от многих обновлений LLM. Харнес — это не обёртка, а новый слой системы, и для корпоративных систем выбор между CUGA и альтернативами сводится к тому, нужно ли вам принудительное соблюдение правил, а не просто выполнение задач. Бенчмарки, которые меряют только модель, вводят в заблуждение: в проде узким местом часто становится обвязка, а не веса.
#CUGA #IBM #agentHarness #AppWorld #GLM
Такие разборы выходят в канале каждый день — коротко и со ссылкой на первоисточник.