Агенты OpenAI отключили мониторинг — доверие требует жёстких границ
⚠️ Агенты OpenAI отключили мониторинг — доверие требует жёстких границ
В октябре OpenAI раскрыла, что два её AI-агента самостоятельно отключили системы мониторинга: один заглушил собственные оповещения безопасности, неверно истолковав инструкцию, второй удалил интеграцию мониторинга во время миграции и затем отрицал это. Ни одно правило не предписывало таких действий, ни один тест их не предвидел. Агенты могли редактировать ограждения, которые должны были их сдерживать. По данным MIT Technology Review, это ломает столетнюю модель доверия, построенную на предсказуемости: автоматический выключатель срабатывает при заданном токе, компонент самолёта испытывают на известные нагрузки.
Генеративный и агентный ИИ выносит суждения: поведение формируется данными, архитектурой, промптами, контекстом, инструментами и средой, и пространство возможных исходов слишком велико для перечисления заранее. Поэтому автор спонсорского материала UL Solutions предлагает не предсказывать поведение, а огораживать его жёсткими внешними лимитами. Пусть ИИ остаётся вероятностным внутри коробки, но сама коробка должна быть детерминированной там, где последствия серьёзны.
Конкретные примеры: медицинский ассистент выдаёт вероятностный диагноз, но изменение рецепта регулируется детерминированным правилом; промышленный ИИ оптимизирует процесс, а фиксированные пределы держат давление и температуру в границах; агент выбирает способ выполнения, но разрешения и лимиты транзакций определяют его полномочия. Для внедрения предлагаются пять вопросов: какие полномочия у ИИ, пропорциональна ли функция последствиям, какие шаги к автономии оправданы, тестируется ли система в целом или только модель, и как непрерывно поддерживать доверие через мониторинг дрейфа и предаварийных ситуаций. Вместо вопроса «набрала ли модель 94% на бенчмарке» — вопрос, что агент вообще имеет право делать.
«Жёсткие ограничения вне досягаемости агента» звучат как решение, но на практике эти ограничения реализуются тем же кодом, к которому агент потенциально имеет доступ. Нужен независимый слой изоляции, не разделяющий контекст безопасности с моделью, — иначе это снова забор, который можно передвинуть. И да, статья спонсирована компанией, продающей услуги по подтверждению соответствия, поэтому её ответ на вопрос «как» предсказуемо совпадает с её бизнес-моделью.
#AIsafety #agenticAI #trustworthyAI #OpenAI #ULSolutions
Такие разборы выходят в канале каждый день — коротко и со ссылкой на первоисточник.