Пост-обучение LLM с подкреплением: последние новости в алгоритмах и их наградах

Мы проведём обзорную экскурсию по современным алгоритмам обучения с подкреплением для больших языковых моделей. Кратко напомним стандартный пайплайн обучения LLM, разберём, почему на финальном этапе нужна именно RL-оптимизация и как конструируются награды.

А затем подробнее остановимся на технических деталях самых популярных алгоритмов:
— базовый PPO, которым обучали первый ChatGPT;
— простой DPO, который делает “RL без RL”;
— новый GRPO + verifiable rewards, которым обучали DeepSeek R1.