🧠 iFLYTEK создала единую модель для управления роботами iFLYTEK выложила технический отчёт Embodied-Omni — унифицированной мультимодальной модели, которая совместно обрабатывает видео, язык и действия. Ключевой архитектурный ход описан как «сотрудничество мозга и мозжечка»: vision-language модель и видео-генеративная модель образуют высокоуровневый планировщик (понимание инструкций, отслеживание прогресса, предсказание будущих состояний среды), а action generation model играет роль «мозжечка» — напрямую превращает подцели и общий мультимодальный контекст в исполняемые цепочки действий. В отличие от каскадных конвейеров, где сначала синтезируют будущий кадр, а потом вычисляют команду, здесь всё взаимодействует через общее self-attention, что потенциально убирает накопление ошибок на стыках компонентов. Обучение разбито на четыре этапа: отдельная предварительная подготовка каждой из трёх компонент, затем совместная тонкая настройка всей модели. Данные собирали из видеозаписей действий человека и роботов — с разметкой действий и без неё, — а также из наборов данных embodied reasoning, восприятия и общих image-text пар. Конкретный размер модели в отчёте не назван. При этом бумага не приводит ни одной количественной метрики на стандартных embodied-бенчмарках — ни CALVIN, ни RLBench, — и не сопровождается публичными контрольными точками. По сути, это архитектурное предложение с обученной, но не измеренной моделью. Согласно отчёту iFLYTEK-Embodied-Omni на arXiv. Разделение на «мозг» и «мозжечок» интуитивно кажется верным способом обойти накопление ошибок, но без единой цифры и без весов разговор остаётся на уровне дизайна. Отмечу, что данные брали из реальных взаимодействий роботов — если появятся бенчмарки, будет любопытно понять, не упрётся ли модель в ту же физическую нестабильность, о которую споткнулись предыдущие unified архитектуры. Кто-нибудь уже тестировал подобные vision-language-action модели в реальных манипуляциях хотя бы на 10–20 последовательных шагах? #EmbodiedAI #iFLYTEK #Multimodal #VLA #arXiv