Inkling: новая открытая мультимодальная модель на 975 миллиардов параметров
🚀 Inkling: новая открытая мультимодальная модель на 975 миллиардов параметров
Thinking Machines Lab (Thinky) представила Inkling — первую полностью открытую модель лаборатории под лицензией Apache 2.0. Это смесь экспертов на 975 млрд параметров, из которых 41 млрд активны на токен, с нативным мультимодальным входом: текст, изображения, аудио. Модель обучали с нуля на 45 трлн токенов, поддерживается контекстное окно до 1M токенов для весов и 256K для API, а в архитектуру заложили относительное позиционное кодирование (вместо RoPE) и short convolution слои — редкость для такого масштаба.
По данным Latent Space, Artificial Analysis ставит Inkling на 41 балл в Intelligence Index — выше Nemotron 3 Ultra (38) и Gemma 4 (29), но позади китайских открытых GLM‑5.2 и Kimi K2.6. В Agentic Web App Arena модель получила Elo 1257, сравнявшись с Claude Opus 4.6 и Gemini 3.5 Flash, а на τ³‑Banking показала 24% против 21% у Kimi K2.6. При этом Inkling расходует всего 25K токенов на задачу — вдвое меньше GLM‑5.2 (43K).
Разработчики подчёркивают контролируемое «усилие мышления» и сильные вызовы инструментов, а не погоню за бенчмарками. Цена Tinker API: $1,87 за 1M входных токенов (64K) и $4,68 за 1M выходных; для 256K — $3,74 и $9,36 соответственно. Запуск поддержали vLLM, SGLang, Modal — с оптимизациями под NVFP4 и приростом до 15% пропускной способности за счёт замены внимания на FlashAttention‑4 и свёртки на causal‑conv1d.
Переход с RoPE на относительное смещение — не косметика, а архитектурная ставка, которая усложнит обратное распространение, но если она сработает при масштабировании, то создаст неочевидный «млат» для настройки под специфические домены. Настоящий тест для Inkling — не сравнение с нынешними китайскими моделями, а то, сможет ли она пережить волну анонсов Kimi K3 и DeepSeek‑V4‑GA, оставаясь актуальной базой для кастомизации.
#Thinky #Inkling #MoE #openweight #Apache2