arXiv論文：先生AIを適切な時点で外すRetireOPD、Web操作の正答率を最大19ポイント改善

結論から言うと、複数手順をこなすAIエージェントの訓練で、先生役AIをいつ外すかを学習状況から自動で決める手法「RetireOPD」が発表されました。研究チームは2026年9月17日、arXivに論文を公開しました。従来の強化学習は一連の作業が終わった後に一つの点数を与えるため、途中のどの判断が良かったかを学びにくい問題があります。

そこで、追加の技能情報を持つ先生役が、文章中の細かな単位で生徒役を導く自己蒸留を利用します。ただし先生も常に正しいわけではなく、学習後半まで頼ると伸びを妨げる可能性があります。RetireOPDは、先生と生徒の出力差が縮まらなくなり、生徒の成功率が先生の一定割合に達した時点で指導を終了します。

Qwen2.5の15億〜70億パラメータモデルによる実験では、家庭内作業のALFWorldで通常の強化学習より成功率が14.1〜18.8ポイント、買い物操作のWebShopで正答率が11.8〜19.0ポイント向上し、全条件で元の先生役も上回りました。将来、Web操作や業務自動化AIを小さなモデルで育てる費用削減につながる可能性があります。

ただし、結果は二つの研究用環境に限られ、実際のサイトや長期業務で同じ改善が出るとは未確認です。会議採択の記載がないarXivプレプリントである点にも注意が必要です。