🧠 Voice-2-voice модели: почему прямой вывод звука быстрее каскада ASR-LLM-TTS Классический голосовой конвейер — ASR распознаёт речь в текст, LLM генерирует ответ, TTS синтезирует звук — накапливает задержку в сотни миллисекунд на каждом звене. Для живого диалога это критично: собеседник успевает заскучать или перебить. Voice-2-voice обходит эту цепочку, превращая аудио напрямую в акустические токены с помощью нейронного кодека вроде EnCodec, и генерирует ответ минуя текстовое представление. Скорость растёт, но теряется прозрачность логирования. Модель Moshi от Kyutai, представленная ещё в 2024-м, показала, на что способен такой подход: она реагирует на недосказанную фразу, поддакивая и вставляя реплики, потому что работает с потоком аудио без ожидания конца предложения. Недавний разбор на Хабре разбирает внутреннее устройство таких систем на примерах на Swift — как кодек сжимает звук в токены, как модель обучается предсказывать следующий акустический фрагмент, и почему каскад даже на быстрых реализациях остаётся медленнее. Практическая цена подхода — отладка. Без промежуточного текста инженеру приходится прослушивать голосовые ответы в поисках ошибок, а не пробегать глазами логи. Для production это означает либо вслепую доверять метрикам модели, либо строить гибридный мониторинг с параллельным ASR-декодированием, что съедает выигранные миллисекунды. Voice-2-voice убирает главный тормоз голосовых ассистентов — задержку ответа, и Moshi доказала, что даже перебивание может быть естественным. Но я не готов променять текстовую прозрачность на скорость: пока не появится инструмент визуализации акустических токенов, любой баг в голосовом выводе — это часы прослушивания записей. Кто-то уже пробовал отлаживать такую модель в проде? #voice2voice #нейрокодек #Moshi #голосовыеинтерфейсы