arXiv論文：顧客対応AIを公開前に模擬試験——Nubankで満足度36.69ポイント改善

結論から言うと、顧客対応AIを本番へ出す前に、合成した顧客との会話で広く試験する手法が、実サービスの改善につながったとする研究が公開された。論文は2026年9月24日にarXivへ投稿され、ブラジルの金融サービスNubankで、最大規模のチャット窓口を含む顧客対応AIを対象に検証した。

研究チームは「Snowglobe」というシミュレーターを使った。合成顧客がAIの返答に応じて反応し、模擬の道具実行結果を返すため、本番の顧客情報や社内システムを使わずに複数手順の会話を再現できる。カード配送用AIと、機能を広げたカード管理用AIを扱い、実際に配備された4バージョンでは、模擬評価と本番評価の二値スコアが高く相関したという。

シミュレーションを使って改善した版は、本番A/Bテストで取引後の顧客推奨度を36.69ポイント高めた。さらに、公開重みモデルの構成を1万6000件超の模擬会話で選別し、選ばれたモデルは別の本番A/Bテストで自己解決率を8.82ポイント上げ、Nubankで過去最高の水準に達した。顧客推奨度には統計的に有意な変化がなかった。

企業には、モデル、推論設定、指示文を実利用者へ見せる前に比較する考え方が参考になる。ただしこれは特定企業と業務での結果で、題名の「140M Scale」が何を数えるかは要旨だけでは判断できない。論文はarXivの査読前公開であり、自社導入では模擬顧客の偏り、本番との相関、誤案内や人への引き継ぎを別途確かめる必要がある。