EMNLP 2026論文：AIエージェントが成功ルートを一つに偏らず学ぶ「DDO」

結論から言うと、EMNLP 2026本会議採択論文「Direct Diversity Optimization」は、AIエージェントが一つの成功パターンだけに偏らず、複数の有効な手順を使えるようにする学習法DDOを提案しました。論文は2026年9月9日にarXivへ投稿されています。

買い物サイトの操作やゲームのように判断を何度も続ける課題では、最終的に成功したかどうかだけを使ってAIを追加学習する方法があります。ただし同じ場面から複数の正しい進み方があっても、結果のラベルだけでは各ルートの違いを十分に教えられず、AIが一つの戦略へ寄りやすい問題がありました。

DDOは、共通の判断地点から分かれる成功ルートをまとめるDivergence-Tree Collectionと、基準モデルに対する各選択肢の望ましさを学ぶReference-Relative Target-Oddsを組み合わせます。

著者らはBabyAI、BabaIsAI、WebShopで評価し、比較した追加学習法の中で、課題の成功率と成功戦略のカバー範囲がともに最も高かったと報告しました。途中の行動を別のものに置き換えた後、成功ルートへ戻れる割合も最高でした。利用者には、サイト操作AIが画面変更や途中の失敗に合わせて別ルートへ切り替える力の向上につながります。

ただし結果は3つの研究環境での比較で、実際の銀行や通販サイトで安全に動く保証ではありません。