🛠 Яндекс оптимизировал инференс DeepSeek в четыре раза Запустив DeepSeek-V3.2 в облаке, команда Yandex AI Studio обнаружила, что на смешанной нагрузке стандартные open-source фреймворки ломаются там, где референсные замеры молчат. Проблемы оказались не в модели, а в распределителе GPU-памяти, потоковой очереди и дублировании KV-кеша — инженеры внесли больше 50 исправлений в SGLang и vLLM. Самое болезненное — длинный контекст: подготовка на 160K токенов отдавала первый токен за 36,9 секунды. Контекстный параллелизм, который пришлось дописывать под архитектуру DeepSeek, сократил время до первого токена до 8,8 с, а спекулятивное декодирование на этапе генерации снизило время между токенами в пять раз. Одновременно переписали работу с кешем: убрали дублирование GPU-кеша в RAM, освободив 700 ГБ оперативки на узел, и внедрили умную маршрутизацию с учётом кешей — попадание в кеш выросло с 5–10% до 54%. → Время до первого токена на 160K токенов: 36,9 с → 8,8 с (−76%) после контекстного параллелизма → Дублирование GPU-кеша в RAM: ликвидировано, высвобождено ~700 ГБ на узел → Попадание в кеш: поднято с 5–10% до 54% через липкие сессии и маршрутизацию с учётом кешей Такие исправления — маркер зрелости open-source инференса: production-нагрузка вскрывает ошибки, которые годами не ловят синтетические тесты. Когда инференс 700-гигабайтной модели требует десятков вкладов в проект, реальной метрикой для бизнеса становится не бенчмарк, а скорость принятия патчей в основную ветку. Habr #DeepSeek #SGLang #инференс #YandexAIStudio #opensource