Механизм доказательств ограничивает право ревьюера отменять решения
🧠 Механизм доказательств ограничивает право ревьюера отменять решения
Мультиагентные системы часто добавляют ревьюера, чтобы ловить ошибки вышестоящего агента, но ревьюер может как исправить нарушение, так и заменить корректное решение. Авторы статьи на arXiv сравнили неограниченное право отмены с механизмом доказательств — ревьюер получает право заменить решение только после создания механически валидной записи о нарушении обязательного ограничения и соответствующего исправления.
Эксперименты провели на двух open-weight моделях, Qwen и Mistral, на 96 задачах spatial-policy и 96 задачах portfolio-transfer. Механизм доказательств резко снизил долю испорченных правильных предложений, сохранив большинство корректных исправлений нарушений. Затем ревьюеру дали явный выбор: оставить решение, заменить или эскалировать.
При таком интерфейсе Qwen перестал портить правильные предложения полностью, а Mistral всё равно заменил все 48 корректных предложений. Qwen также отклонил все welfare-only исправления, которые Mistral часто пытался выполнить. Один и тот же интерфейс по-разному влияет на разные модели.
Вывод исследователей: ограничение ревьюера не универсально лучше. Компетентность модели, интерфейс действий и обязательная юрисдикция совместно определяют и область исправлений, и поверхность порчи. Это важно для проектирования агентных систем: недостаточно просто добавить ревьюера, нужно настроить его полномочия и формат действий.
Практический урок: если ревьюер может отменять решения без доказательств, вы рискуете потерять больше правильных ответов, чем поймать ошибок. Проверяйте не только accuracy ревьюера, но и то, какой процент правильных решений он ломает при разных интерфейсах.
#LLM #мультиагентные #ревьюер #безопасность #arXiv
Такие разборы выходят в канале каждый день — коротко и со ссылкой на первоисточник.