Агенты ломаются на задачах, которые не стоило автоматизировать
🛠 Агенты ломаются на задачах, которые не стоило автоматизировать
На третьем фестивале True Tech Friends от МТС 21 августа обсуждали не абстрактные возможности агентов, а конкретные ошибки внедрения. Участники из «Яндекс Путешествий», MWS и Positive Technologies привели самый показательный пример: финансовые расчёты поручили генеративной модели без математического инструмента, хотя хватило бы обычного скрипта. Ошибка возникла не в LLM, а в решении автоматизировать процесс только потому, что это стало технически возможно.
Проверка результата — следующий слой проблемы. Модель может выдать работающий код, который не вписывается в существующую архитектуру, поэтому на собеседованиях теперь требуют объяснять логику каждого решения, а не просто показывать вывод нейросети. Когда агент получает доступ к внешним системам, важнее прописать запреты: например, нельзя менять данные в корпоративной системе — на этом шаге нужен человек. Отдельно всплыла угроза обхода таких запретов: сотрудники передают рабочие данные во внешние нейросети, значит, корпоративный контур должен контролировать не только модель, но и потоки данных.
Ещё один вывод — не завязывать архитектуру на одну модель. Эффективная агентная система состоит из нескольких моделей, специализированных инструментов и проверок. Поэтому сильную модель не противопоставляют агентной архитектуре, а встраивают как один из компонентов. Модели меняются быстро, и жёсткая привязка к конкретной LLM через несколько месяцев потребует переписать всю систему. Как отмечает Habr, главный этап внедрения — заранее определить границы самостоятельности агента, способы проверки результата и зоны ответственности человека.
Компании платят дважды: сначала за токены LLM при выполнении задачи, которую решает скрипт, потом за инженеров, разбирающих, почему агент ошибся. Поэтому первый вопрос при внедрении — не «какая модель лучше», а «что здесь должно быть детерминированным».
#ИИагенты #TrueTechFriends #LLM #автоматизация #МТС
Такие разборы выходят в канале каждый день — коротко и со ссылкой на первоисточник.