🚀 Яндекс открыл предобученную модель Alice AI T5-35B для быстрых ответов Яндекс выложил на Hugging Face предварительно обученную модель Alice AI-T5-35B-A0.6B, сообщает Habr. Это архитектура «кодировщик-декодировщик» с разреженной MoE: 35 млрд параметров, активных всего 0,6 млрд. Модель обучалась с нуля на 15 трлн токенов и расширила контекст до 128K через YaRN. Важное ограничение: оптимизированный запуск модели в промышленной среде остался внутри компании, а внешним пользователям доступен только обычный Hugging Face Transformers. Выбор архитектуры «кодировщик-декодировщик» с MoE объясняется экономикой быстрых ответов. На внутренних тестах модель показывает высокую фактологическую точность: 81,3 на WikiWebFacts против 62,4 у Qwen 3.5-35B-A3B, но уступает при работе с длинным контекстом — 81,4 против 90,1 на Ruler 128K. В попарном сравнении после одинаковой настройки поведения доля побед над Qwen 3.5-35B-A3B составила 44%, при том что Qwen требует значительно больше ресурсов при запуске. Отдельно команда показала извлекатель информационных контекстов на 80 млн параметров. Он обучен с помощью RL на основе кросс-энтропии и сокращает входные данные, оставляя только полезные фрагменты документов. Это дало прирост пропускной способности на 40% без потери качества. В RLHF перешли на GRPO/GSPO и данные от реальных пользователей — новая модель обошла предыдущую с долей побед более 70%, что важнее любых метрик, полученных вне реальной эксплуатации. По данным Habr, открытая модель — лишь верхушка: извлекатель, онлайн-RL и собственный движок остаются закрытыми. Открытые веса без оптимизированного запуска в промышленной среде не позволяют воспроизвести пользовательский опыт: главное преимущество в скорости и качестве достигается не архитектурой, а инфраструктурой и настройкой поведения модели. Это скорее исследовательская разработка, чем готовый инструмент для внешних разработчиков. #Yandex #AliceAI #MoE #OpenWeights #SearchAI