Себастьян Рашка выпустил видеокурс по reasoning-моделям с нуля
🛠 Себастьян Рашка выпустил видеокурс по reasoning-моделям с нуля
Sebastian Raschka опубликовал восемь видеолекций, где за 11 часов показывает, как построить reasoning-модель с нуля на PyTorch — от загрузки предобученной Qwen3 0.6B до RLVR и дистилляции. Это не концептуальный обзор, а полная кодовая реализация: KV-кэш, верификатор математических ответов, self-consistency, оценка, self-refinement, GRPO с верными наградами и обучение на ответах DeepSeek R1. Оценка идёт на MATH-500, и все компоненты собираются в единый цикл тренировки. По данным Ahead of AI, курс самодостаточен — предыдущий материал по LLM с нуля рекомендован, но не обязателен, а первые примеры запускаются даже на CPU.
Ключевая механика — Reinforcement Learning with Verifiable Rewards (RLVR): вместо человеческих предпочтений модель получает сигнал от автоматической проверки математической эквивалентности ответов, а GRPO сравнивает сгенерированные трейсы внутри группы. Raschka разбирает и подводные камни: reward hacking, клиппинг policy ratio, KL-штрафы и их упрощённые формулировки. Отдельный блок — дистилляция: сбор ответов учителя DeepSeek R1, подготовка датасета и файнтюнинг с учителем. Всё это на 0.6B модели, что для учебных целей честнее, чем запуск 70B на кластере.
Ограничения у материала понятные: для тренировочных экспериментов нужна GPU, Python и PyTorch — без этого дальше первых глав не уйти. Книга-компаньон продаётся в Manning и Amazon, но сами видео бесплатны. Для тех, кто предпочитает короткий обзор без кода, автор указывает на 90-минутный LinkedIn Learning курс по reasoning-моделям, но там только идеи, без реализаций.
Ценность этих лекций не в том, что вы соберёте свою модель лучше GPT, а в том, что после 11 часов кода RLVR перестаёт быть заклинанием из статей — вы видите, где reward hacking ломает обучение, а дистилляция не всегда дешевле RL, если учителя надо арендовать. Порог входа в понимание reasoning-моделей уже ниже, чем порог входа в их использование в проде, и это стоит использовать до того, как разрыв снова вырастет.
#reasoning #GRPO #RLVR #PyTorch #Raschka
Такие разборы выходят в канале каждый день — коротко и со ссылкой на первоисточник.