🚀 Kimi K3 — открытая модель, которая обошла закрытых лидеров рынка Moonshot AI выложила веса Kimi K3 — открытой модели, которая на части независимых бенчмарков обходит закрытые GPT и Claude, хотя конкретных цифр в отчёте нет. За результатом не один приём, а три направления роста: контекст до миллиона токенов, больше слоёв и 896 экспертов внутри. Каждое направление создавало свою цену — и её пришлось платить инженерными решениями. По данным Habr, код FlashKDA и MoonEP также открыт, что даёт возможность проверить реализацию. Стандартный KV-кэш растёт линейно с длиной текста и для миллиона токенов съедает память. Kimi K3 заменила его на матрицу состояния S фиксированного размера с delta-rule: модель переписывает одно и то же состояние, частично стирая старое и записывая новое. Коэффициент забывания α меньше единицы, и при последовательном обновлении на каждом токене его степени стремятся к нулю, выходя за пределы BF16. Авторы ограничили α диапазоном от e⁻⁵ до 1 — примитивное, но точное решение. Параллелизация этой последовательной операции разбита на три уровня: ядро FlashKDA на CUTLASS для параллельной обработки внутри чанка, планировщик для сегментов на одной карте и prefix-scan для обмена между картами. Вместо цепочки, где каждый слой получает только выход предыдущего, Kimi K3 позволяет каждому слою через обучаемый псевдозапрос избирательно брать информацию из всех предыдущих блоков. Слои сгруппированы по 12 в блоке, всего 8 блоков (последний неполный), поэтому хранить нужно результаты блоков, а не каждого слоя. Это снижает потерю ранних признаков и экономит память. Внутри блоков — 896 маршрутизируемых экспертов, из которых на токен активируются только 16 (соотношение 56:1), плюс 2 общих эксперта всегда. Токены сжимаются в латентное пространство вдвое перед подачей экспертам, а для стабильности активаций добавлена нормализация и собственная функция SiTU-GLU, ограничивающая произведение ветвей сверху. Распределение нагрузки — через квантильные пороги для каждого эксперта, чтобы никто не простаивал, и правило «эксперт не делится между картами». Всё это в открытой библиотеке MoonEP. Обучение шло на четырёх доменах (веб, код, математика, знания) и с самого начала включало мультимодальные пары «изображение-текст». Авторы также отказались от позиционного кодирования — как именно, в отчёте не детализировано. Открытость весов — это только половина истории: Kimi K3 показывает, что миллион токенов и 896 экспертов не магическая особенность, а сотни мелких численных решений, которые теперь можно прочитать в коде. Но обход GPT и Claude пока заявлен без конкретных бенчмарков — до первых независимых замеров это скорее инженерный манифест, чем измеримое превосходство. #KimiK3 #MoonshotAI #openweight #MoE #LLM