NVIDIA открыла четыре чекпоинта Cosmos 3 для интерактивной симуляции
🚀 NVIDIA открыла четыре чекпоинта Cosmos 3 для интерактивной симуляции
Четыре модели семейства Cosmos 3 Nano — Transfer-Auto, Sim-Auto, Sim-Transfer и Sim-Bimanual — покрывают разные участки пайплайна симуляции мира: офлайн-генерацию синтетических дорожных сцен, потоковую симуляцию с синхронным LiDAR, превращение управления симулятором в RGB-видео и предсказание следующего кадра для бимануального робота. Все чекпоинты содержат 16 млрд тренируемых параметров и распространяются под лицензией OpenMDW1.1, которая разрешает коммерческое использование. По данным Hugging Face, Transfer-Auto генерирует синхронное видео до 11 камер, включая fisheye, и совместные RGB-LiDAR наблюдения.
Внутри — Mixture-of-Transformers: текстовая и визуальная сети связаны через attention, генератор предсказывает короткий следующий чанк из промпта, управляющих сигналов и истории. Один latent-шаг кодирует четыре RGB-кадра; в оптимизированной Bimanual-конфигурации модель предсказывает два шага за чанк. Sim-Auto — это дистиллированный стриминговый вариант Transfer-Auto: синхронную камеру и LiDAR он генерирует за четыре шага денойзинга, опираясь на rolling history. Четырёхстадийный рецепт — bidirectional adaptation, teacher forcing, consistency distillation, self-forcing — выложен вместе с весами.
Ключевое ограничение сразу в требованиях: Linux, NVIDIA GPU, Docker и Container Toolkit, а vLLM-Omni проверяли на одном GB200 — это не минимальная конфигурация. Для адаптации под свой сенсорный риг нужно сначала посттренировать Transfer-Auto на своих данных, затем дистиллировать в Sim-Auto. Это не готовый к работе симулятор, а набор чекпоинтов и рецептов, который придётся докручивать под конкретного робота или автомобиль.
Открытые веса не закрывают главную дыру world models: сгенерированная геометрия не обязана соответствовать физике. Sim-Transfer оставляет физику внешнему симулятору, Sim-Bimanual честно предсказывает только следующее наблюдение — а между ними ровно та зона, где такие модели начинают выдавать правдоподобное, но несовместимое с реальностью видео. Для открытого русскоязычного ML-сообщества это скорее ориентир для посттренировки на своём сенсорном стеке, чем готовый инструмент.
#NVIDIA #Cosmos3 #worldmodels #simulation #openweights
Такие разборы выходят в канале каждый день — коротко и со ссылкой на первоисточник.