Google будет контролировать ИИ-агентов как потенциальных инсайдеров
🛡 Google будет контролировать ИИ-агентов как потенциальных инсайдеров
Защита строится вокруг жёсткого допущения: даже обученный на alignment агент может повести себя непредсказуемо. Roadmap добавляет системный слой контроля поверх встроенной безопасности. Модель угроз отталкивается от адаптированного MITRE ATT&CK — агент рассматривается как потенциальный инсайдер с легитимным доступом. Другой, доверенный ИИ-супервайзер постоянно читает цепочку мыслей агента, выискивая отклонения, и способен заблокировать действие до исполнения. Для обратимых операций — асинхронный аудит, для критичных — синхронная блокировка.
Прототип асинхронного мониторинга проанализировал уже более 1 млн траекторий кодинг-агентов. Результат лёг в основу live-монитора для Gemini Spark. Ключевой вывод: подавляющее большинство срабатываний — не злой умысел, а неправильное толкование или чрезмерное рвение. Агент слишком усердно добивается цели, случайно удаляя данные или нарушая политики.
Мы годами учили SOC-аналитиков отличать целенаправленную атаку от кривых рук. Теперь та же задача встаёт для машинных инцидентов, только масштаб на порядки больше. И главный вопрос — кто выступит супервайзером для самого супервайзера, если доверенный ИИ ошибётся?
По данным Google DeepMind
#AIsecurity #AIagents #GoogleDeepMind #threatmodeling #SOC