🛠 GLM-5.2 запустили на ноутбуке с 25 ГБ памяти Разработчик-одиночка JustVugg выкатил движок Colibri — 1300 строк на чистом C, которые запускают 744-миллиардную GLM-5.2 от Z.ai на ноутбуке с 25 ГБ оперативной памяти. Модель не обрезали: все веса на месте в int4-кванте, лицензия MIT, контекст до миллиона токенов. Но вместо классической загрузки всего дампа в VRAM Colibri держит в памяти только плотную часть — 17 млрд параметров внимания, эмбеддингов и общих экспертов (9,9 ГБ), а 21 504 маршрутизируемых эксперта по 19 МБ каждый подгружаются с NVMe-накопителя по мере надобности. В каждом из 75 MoE-слоёв активируется 8 экспертов — на каждый токен с диска читается около 11 ГБ данных, поэтому на холодном старте скорость упирается в пропускную способность SSD: 0,05–0,1 токена в секунду. Со временем вступает в игру многоуровневое кэширование: LRU-кэш на слой, системный page cache и закрепление «горячих» экспертов в свободной оперативной памяти. Автор утверждает, что чем дольше работает Colibri, тем выше частота попаданий и реже обращения к диску — на машине с нативным Linux и быстрым NVMe он прогнозирует 0,5–1 токен в секунду, а на рабочей станции со 128–256 ГБ — до 5–15, то есть почти режим диалога. Спекулятивное декодирование через MTP-голову даёт по 2 токена за проход без потери качества, а MLA-внимание сжимает KV-кэш в 57 раз. По данным Habr, проект за сутки набрал больше 2000 звёзд на GitHub. Главный неотвеченный вопрос — не просело ли качество модели в int4: сам автор просит сообщество прогнать тесты, потому что на его ноутбуке это заняло бы недели. Это не боевое решение, а пограничный эксперимент, доказывающий, что запуск SOTA-модели на слабом железе упирается не в объём памяти, а в инженерную смелость и готовность ждать ответа часы. Но если через год кто-то покажет такой же стриминг с 10 токенами в секунду на потребительском SSD, разговор о «закрытых» моделях станет совсем другим. #GLM #MoE #инференс #крайжелезо #Colibri