EMNLP 2026論文：小型AIで学習データ配分を試せば大型AIにも移せる——許容差2〜10%で検証

結論から言うと、EMNLP 2026採択論文は、生成AIの追加学習で教師あり微調整（SFT）と強化学習（RL）へデータ作成予算をどう分けるかを、小型モデルの実験から大型モデルへ移せると報告しました。SFTは模範回答を学ばせ、RLは好みや報酬を使って回答を改善しますが、限られた注釈予算の最適な比率を大型AIごとに総当たりするのは高コストです。

研究チームは最高性能となる1点だけでなく、最高値から一定範囲内に収まる「near-optimal region」を調べました。実験では、最高性能からの許容差を2〜10%にしてもこの実用的な配分範囲は広く、モデルが大きいほどさらに広がりました。

また、小型の代理モデルで見つけた範囲が大型の対象モデルにも安定して移り、課題、モデル系列、好みデータを使うオフポリシーRL、報酬監督型のオンポリシーRLをまたいで傾向が確認されたとしています。AIを自社向けに学習する組織には、高価な大型実験を全比率で繰り返さず、候補を絞る手掛かりになります。

ただし論文は2026年9月1日にarXivで公開された採択版で、要旨だけでは対象モデル名、総費用、絶対性能を判断できません。データ作成単価の差でも良い範囲は動くため、自社の課題で小規模な確認は必要です。