Фаза сна в LLM: Google Research против катастрофического забывания
🧠 Фаза сна в LLM: Google Research против катастрофического забывания
Google Research представила sleep framework — метод непрерывного обучения LLM, который добавляет офлайн-фазу консолидации памяти. Модель чередует активное взаимодействие и периоды "сна", перенося знания из кратковременного контекста в долговременные параметры, и обновляется новыми фактами без полного переобучения и без потери старых навыков. Подробности — в блоге Google Research.
Механика конкретная. Во время сна модель разблокирует заранее выделенные MoE-блоки памяти и обновляет их веса на самостоятельно сгенерированных примерах. Две стадии: консолидация памяти — сжатие контекста в низкоранговые направления, и "сновидения" — генерация синтетических примеров с разнообразием через случайную активацию экспертов и отбор по градиенту. Это не имитация нейробиологии, а набор техник continual learning: self-distillation плюс parameter expansion.
Результаты. На BABILong метод показал почти идеальное масштабирование до 10M токенов, обойдя GPT-4 и Titans. На математике AIME 24/25 и HMMT 25 — 79.2%, 69.0% и 46.1% точности, выше SFT, GRPO и OPSD. На включении новых фактов (SQuAD и continual pre-training) метод набрал 48.9% single-task и 46.2% CPT, превзойдя SEAL и базовую модель. Всё это — без деградации старых знаний, в отличие от обычного файнтюнинга.
Блог не раскрывает стоимость офлайн-циклов, размер MoE-блоков, доступность кода или API. Это исследовательский прототип, а не готовый продукт. Также не приведены сравнения с внешней памятью вроде RAG — хотя удержание 10M токенов в параметрах напрямую конкурирует с этим подходом.
Название "сон" отвлекает от сути: перед нами переупаковка continual learning с MoE, self-distillation и низкоранговым сжатием, а не имитация нейробиологии. Но если параметрическая память действительно удерживает 10M токенов без деградации, это аргумент против RAG в длинных сессиях — и его стоит проверить на открытых весах, которых пока нет.
#continuallearning #LLM #MoE #GoogleResearch #sleepframework
Такие разборы выходят в канале каждый день — коротко и со ссылкой на первоисточник.