DeepSeek открыла инференс-движок DeepInfer — но без главных оптимизаций
🚀 DeepSeek открыла инференс-движок DeepInfer — но без главных оптимизаций
DeepSeek опубликовала DeepInfer — инференс-движок для прода, на котором работает V4.1 Flash, по данным Latent Space. Компания раскрыла цифры: 155 триллионов токенов в день с одного кластера, 96% попаданий во входной кеш, 400 мс time-to-first-token, 230 токенов/с генерации. Это впечатляет, но почти все токены — уже закэшированные префиксы, а не новая генерация. Ключевой нюанс: код движка открыт под Apache 2.0, однако оптимизированный KV-кеш, PD/disaggregation и балансировка нагрузки остались закрытыми — они привязаны к внутренней инфраструктуре. Поэтому «полностью открытый исходный код» — неточное описание. vLLM быстро выпустила сравнение: при совпадающей конфигурации на GB200 их пропускная способность decode в пределах 6% от заявленных DeepSeek.
→ 155 трлн токенов/день, но 96% — попадания в кеш
→ $38 выручки за час работы ускорителя по ценам в непиковые часы
→ 81 день окупаемости при марже >80%
→ vLLM: пропускная способность decode в пределах 6% от DeepInfer
Заявленные $22 млн в день и 80% маржа почти целиком зависят от кеша и конкретной нагрузки — на другом трафике цифры не воспроизвести. Открытый движок без KV-кеша и балансировки — это как рецепт без главного ингредиента. vLLM уже дышит в затылок, так что реальное преимущество DeepSeek не в инференс-стеке, а в экосистеме и низкой цене энергии.
#DeepSeek #DeepInfer #vLLM #инференс #openweight
Такие разборы выходят в канале каждый день — коротко и со ссылкой на первоисточник.