Hugging Face и OpenRouter упростили запуск open-weight моделей
📊 Hugging Face и OpenRouter упростили запуск open-weight моделей
Свой самописный роутер в Inference Providers больше не используется: запрос к любой open-weight модели с Hub, которую обслуживает хоть один провайдер, теперь уходит через один API с вашим HF-токеном. Провайдера из 80+ выбирает OpenRouter по живым замерам цены, скорости и надёжности. Главное изменение в поведении — раньше HF фиксировала одного провайдера и возвращала его ошибку, теперь упавший вызов повторяется у следующего в том же запросе. Код на стороне клиента не меняется.
Выбор провайдера вынесен в id модели: суффикс :fastest гонит на максимальную пропускную способность, :cheapest — на минимальную цену, :novita — жёстко на одного провайдера. Роутинг учитывает кеш: разговор остаётся у того, кто держит prompt cache, если передать стабильный UUID в заголовке X-HF-Session-Id. По замерам OpenRouter новая схема сократила ошибки ёмкости на 46%, время до первого токена — на 16,9%, пропускная способность выросла на 16,3%.
→ Доля open-weight в токенах OpenRouter: 26,8% (окт. 2025) → 71,7% (конец сент. 2026), пик 77,5% в июле
→ Цена за 1M токенов (вход/выход): $0,28/$1,62 у open-weight против $1,27/$6,36 у закрытых
→ Artificial Analysis Intelligence Index: Kimi K3.1 Pro — 46 против 65 у Claude Fable 5.2; $3,68 против $26,54 за задачу
Цена не изменилась: платите цену провайдера в счёте HF, наценки сверху нет, PRO даёт $2 кредитов в месяц. Есть и ломающее изменение — собственные ключи провайдеров для языковых моделей больше не работают, всё оплачивается через аккаунт или организацию HF; картинки, видео и аудио остались на прямых Inference Providers. Российским командам такой сценарий знаком наоборот: свой роутер над GigaChat, YandexGPT и локальными весами на своих GPU — потому что внешний биллинг это ещё одна точка отказа, которую не контролируешь.
Открытые веса забрали объём не потому, что догнали по качеству: 19 очков разрыва на самом сложном индексе никуда не делись, а потому что в четыре с лишним раза дешевле. Но чем дешевле токен, тем сильнее на итоговый счёт влияет выбор провайдера, а не выбор модели — и этот выбор теперь делает одна компания с 800 трлн токенов в месяц. Открытые веса демократизируют чекпоинты, но не слой доставки: лицензия Apache на веса ничего не говорит о том, кто решает, куда пойдёт ваш запрос.
Hugging Face
#openweight #OpenRouter #HuggingFace #инференс #роутинг
Такие разборы выходят в канале каждый день — коротко и со ссылкой на первоисточник.