Вывод моделей подешевел в 50 раз — узким местом стали системы данных
🧠 Вывод моделей подешевел в 50 раз — узким местом стали системы данных
По данным BAIR, стоимость GPT-4-уровня рухнула с $30 до менее чем $1 за миллион токенов с начала 2023 года, а медианный темп падения цен на вывод моделей — 50x в год. Интеллекта, достаточного для 90% офисной работы, стало так много, что он почти бесплатен. Но это не решает, а обостряет проблему нижнего слоя: систем, которые хранят состояние агентов, координируют их рой и возвращают нужную память без тонны мусора. Исследователи из Berkeley выделяют три фронта: системы данных *для* агентов (обслуживание тысяч параллельных гипотез), *из* агентов (субстрат для памяти и консенсуса) и *от* агентов (синтез специализированных БД под конкретную нагрузку).
Текущий подход «всё в markdown-файлы плюс эмбеддинги» ломается, когда десятки агентов пытаются одновременно править разделяемое состояние или когда требуется извлечь только корректирующие воспоминания, а не сырые логи с ошибками. В экспериментах на text-to-SQL 80–90% подзапросов дублируются, хотя избыточность и повышает итоговую точность задачи. Система может переиспользовать эти пересечения, давать приближённые ответы или заранее подсказывать агенту, не дожидаясь полного выполнения дорогого запроса.
→ Стоимость GPT-4-класса: $30 → <$1 за 1M токенов (медиана падения ~50x/год)
→ Дублирование подзапросов агентов: 80–90%, при росте успешности от множественных попыток
→ Синтез специализированного хранилища ключ-значение: $2–5 и минуты работы
Пока индустрия меряется бенчмарками reasoning-моделей, настоящий затык — не «ум», а неспособность агентов дешёво и согласованно работать с долгоживущей памятью. Снижение цены токена не убирает лавину промежуточных вызовов и конфликтов при конкурентном доступе. И это именно та ниша, где системы данных старой школы могут дать фору свежим обёрткам вокруг LLM, если вспомнят про оптимизацию множественных запросов и управление транзакциями, а не просто отдадут всё файловой системе.
BAIR Blog
#agents #datasystems #inference #BAIR #structuredmemory