Mistral Large 4: 1T параметров, контекст 1M, фокус на кибербезопасности
🚀 Mistral Large 4: 1T параметров, контекст 1M, фокус на кибербезопасности
Mistral выкатила Large 4 (Le Chonk) 29 октября 2026 года. Мультимодальная MoE-модель принимает текст и изображения, содержит около 1T суммарных параметров при 49B активных и держит контекстное окно в 1M токенов. Выпущены два официальных варианта плюс GGUF-кванты от Unsloth и llama.cpp, лицензия — Mistral Ecosystem Open-Weight License, производная MIT с ограничением на model-as-a-service. Уже доступна в transformers, vLLM и llama.cpp в день релиза.
Главный заявленный козырь — кибербезопасность. По данным Hugging Face, модель набирает 82% на Artificial Analysis Cyber Index: воспроизводит реальную уязвимость в опенсорсном ПО и исправляет её. Закрытые передовые модели на этом тесте отказываются даже пытаться — фильтры блокируют всё, что похоже на атаку. Для защитников воспроизведение уязвимости это обязательный шаг, а открытые веса дают контроль над политикой использования и деплоем. При этом Mistral Large 4 отказывается от вредоносных запросов чаще, чем любой другой open-weight бенчмарк по JailbreakBench, StrongREJECT и AgentHarm.
Архитектурно модель нетривиальна: 72 слоя, hidden dimension 6144, 64 attention heads, Multi-head Latent Attention плюс DeepSeek Sparse Attention indexer, который выбирает до 2048 ключевых позиций на каждый запрос. В каждом слое MoE-блок из 128 экспертов, роутер активирует 4 плюс один общий эксперт — итого 5 на токен. Vision-энкодер Pixtral на 1.6B параметров. Инференс требует серьёзного железа: FP8 вариант тянет vLLM на 8 GPU (H200/B200/B300), NVFP4 только на Blackwell, а 2-битный квант Q2_K на Apple M3 Ultra с 512GB unified RAM даёт лишь 15 токенов в секунду. На 4x RTX6000 Pro NVFP4 генерация около 10 tok/s при контексте 32K, а IQ2_XXS с заявленным контекстом 800K падает до 3 tok/s на длинных промптах. High reasoning effort отключить нельзя — даже reasoning_effort=none всё равно работает как high.
Лицензия здесь интереснее бенчмарков: Mistral впервые так жёстко закрывает путь для «обёрток над чужим API» — model-as-a-service прямо запрещено. Это попытка защитить собственный инференс и партнёрства, пока сообщество файнтюнит и делает исследования. Но 1M контекста пока маркетинг: на IQ2_XXS генерация 3 tok/s означает, что длинный документ читается дольше, чем пишется. Для российских команд открытые веса снижают зависимость от западных API, но продать сервис на этих весах не выйдет.
#MistralLarge4 #LeChonk #openweight #cybersecurity #MoE
Такие разборы выходят в канале каждый день — коротко и со ссылкой на первоисточник.