📊 Агенты ИИ теряют эффективность на длительных задачах Исследователи представили Long-Horizon-Terminal-Bench — набор из 46 реальных терминальных задач, требующих от агентов сотен последовательных шагов, отладки и многочасового исполнения. В отличие от привычных бенчмарков, где оценивают лишь финальный бинарный успех, здесь работа разбита на промежуточные подзадачи с плотной системой частичных наград. Это позволяет измерить, насколько далеко агент продвинулся, даже если не достиг цели. По данным arXiv, тестировали 15 передовых моделей — и результат оказался жёстким: даже самый сильный агент не поднимается выше 15% полноценного успеха. Дело не просто в сложности, а в кумулятивной нагрузке на планирование и память. Средний запуск съедает почти 10 миллионов токенов, проходит через 231 эпизод и длится около полутора часов. На такой дистанции однократная ошибка или потеря контекста между вызовами инструментов быстро превращаются в необратимый провал. Бенчмарк специально заточен под стресс-тест долгосрочных стратегий, итеративной отладки и управления длинным горизонтом — именно там сегодняшние агенты и ломаются. → 46 задач, 9 категорий, сотни эпизодов на задачу, часы выполнения → Среднее потребление: 9.9M токенов, 231 эпизод, 85.3 минуты на запуск → Лучшая модель: 15.2% успешных попыток (частичная награда 0.95), 10.9% (идеальная награда 1.0) → Средний процент успеха по всем моделям: 4.3% и 1.7% соответственно Эти цифры напоминают ситуацию с ранними бенчмарками рассуждений: тогда тоже казалось, что нужен фундаментальный прорыв, а через полгода та же архитектура после масштабирования закрыла половину разрыва. Однако здесь проблема может быть глубже: 9.9M токенов на задачу — это не только счёт за API, но и свидетельство того, что агенты не столько решают, сколько перебирают гипотезы, безнадёжно теряя контекст. Если модель не научится удерживать цель на сотнях эпизодов без экспоненциального роста цены, замена длинных автономных задач агентами останется экономически бессмысленной. Long-Horizon-Terminal-Bench: Testing the Limits of Agents on Long-Horizon Terminal Tasks with Dense Reward-Based Grading #LongHorizonTerminalBench #agents #benchmark #LLM