会話AIの「どの行動が役立ったか」を流れから学ぶIAPO、3評価で従来法を上回る

結論から言うと、何度も会話して道具を使うAIを育てる際、最後に成功したかだけでなく、途中のどの行動が後の判断を助けたかを追うことで性能を上げられる可能性があります。2026年8月25日にarXivへ提出され、26日に改訂されたプレプリントで、研究チームはInfluence-Aware Policy Optimization（IAPO）を発表しました。

問い合わせ対応のような長い会話では、利用者が途中で目的を詳しくしたり、検索やAPIの結果を見て次の判断が変わったりします。そのため最終得点だけでは、良い質問、誤った道具操作、修正につながった観察のどれを学習で強めるべきか分かりません。IAPOは一回の実行記録を、学習対象の行動と利用者・道具からの観察を結ぶ「影響依存グラフ」に変換します。

情報を後で正しく使えた関係と、使い損ねた関係から重みを作り、同じ最終評価を各行動へ配り直します。Qwen3-4BとQwen3-8Bで試し、τ²-Bench、UserBench、AgentChangeBenchの3つの接客AI評価で複数ターン強化学習の比較手法を上回り、BFCL-v4 Multi-Turnでは関数呼び出し能力を損なわなかったと報告しています。

業務AIを作る人には、会話ログの因果関係を残す設計が学習改善につながる示唆があります。ただし数値の詳細は本文の条件に依存し、査読前のプレプリントです。実際の顧客対応での安全性や効果は別途検証が必要です。