Чип Jalapeño от OpenAI обходит Blackwell по скорости вывода
📊 Чип Jalapeño от OpenAI обходит Blackwell по скорости вывода
На Hot Chips 25 августа OpenAI впервые показала результаты тестирования чипа Jalapeño для вывода моделей. В InferenceX от SemiAnalysis он выдаёт больше токенов на пользователя и обеспечивает более высокую пропускную способность на киловатт, чем текущий передовой чип Nvidia Blackwell. Абсолютных цифр в материале TechCrunch нет, только превосходство в относительных показателях.
Преимущество достигается за счёт снижения задержек на этапе обработки входного запроса и при обмене данными — именно они, по словам OpenAI, чаще всего становятся узким местом. Модельное состояние, включая KV-кэш, размещается локально и не передаётся по сети на каждом шаге генерации. Чип спроектирован вместе с Broadcom, а в разработке участвовали модели самой OpenAI.
Сроки заметно отстают от выпусков программного обеспечения. Ричард Хо из OpenAI оценил развёртывание в конце 2026 года «в очень малых объёмах», значимые объёмы — в 2027. Чип был анонсирован ещё в октябре 2025 года. Сравнение с текущим Blackwell к моменту массового развёртывания упрётся в следующее поколение Nvidia.
Jalapeño важен не как конкурент Nvidia на рынке ускорителей, а как инструмент снижения стоимости вывода собственных моделей: весь программно-аппаратный комплекс оптимизируют под обработку входных запросов и обмен данными, а не под универсальные нагрузки. Российским командам эти специализированные чипы в ближайшие годы всё равно недоступны — их оптимизация останется программной: квантизация, пакетная обработка, кэширование KV. Сравнительный тест с текущим Blackwell устареет к моменту реальных поставок, поэтому смотреть нужно на разрыв с Nvidia 2027 года, а не на сегодняшние относительные цифры.
#OpenAI #Jalapeño #Broadcom #InferenceX #инференс
Такие разборы выходят в канале каждый день — коротко и со ссылкой на первоисточник.