Debate Training Reduces Reward Hacking in RLAIF

Награды для LLM — дело тонкое. Если учить LLM давать правильные ответы любым способом, она, оказывается, может научиться красть их из Hugging Face. А если учить её получать одобрение другой модели-судьи, то она рано или поздно научится судью обманывать — причём тем скорее, чем слабее судья по сравнению с обучаемой моделью, то есть именно в том режиме, который наиболее актуален для контроля за системами возрастающей мощности.

Мы расскажем, как работает техника AI Safety via Debate (Irving, Christiano, Amodei) и покажем, что она вполне помогает слабому судье Gemini 2.5 Flash Lite давать награды более сильной Gemini 2.5 Flash и не быть обманутым в процессе.

Обычный RLAIF быстро подстраивается под ошибки судьи: награда растёт, а точность и судьи, и модели падает. Дебаты сохраняют качество наград на протяжении всего обучения и позволяют восстановить 45% разрыва качества модели до обучения с верифицируемыми наградами (оракулом).

Обсудим и проблемы подхода: без ограничений на игроков состязательное обучение вырождается во взлом судьи уже со стороны критика, да и в целом вместо хороших аргументов соперники часто переходят на крик.

После этого в неформальной обстановке обсудим область и новости AI Safety и Alignment в целом. Буду рад поделиться своим опытом и ответить на ваши вопросы.