arXiv：Qwenの画面操作AI、実機で成功率92.2%——1万環境で100手超を学習

結論から言うと、スマホやパソコンの画面を操作するAIは、実機と大規模な練習環境を組み合わせることで、長い手順をかなり高い成功率でこなせる段階へ進んでいる。2026年7月30日にarXivへ提出された未査読の技術報告は、スマホ、PC、Web、深掘り検索を1つの仕組みで扱う「Qwen-UI-Agent」を発表した。

画面のクリックや文字入力と、コマンドライン操作を同じ行動形式で組み合わせ、複数の操作を1回の応答でまとめて出せる。学習では最大1万の隔離環境を並列稼働し、100手を超える操作履歴にもオンライン強化学習を適用した。

27Bモデルの成功率はMobileWorldで82.1%、100種類超のアプリを含む実機MobileWorld-Realで92.2%、AndroidDailyで97.5%だった。PCではOSWorld-Verifiedが79.5%、より難しいOSWorld-v2の部分進捗は40.0%、WebArenaは73.6%と報告している。

利用者には、将来の予約、調査、複数アプリをまたぐ作業をAIへ任せる基盤として関係する一方、送信、購入、削除は最終状態を人が確認する必要がある。実機評価は人手ではなくAutoJudgeで採点し、専門家が確認した666例との完全一致は92.8%だったため、残る誤差が数値へ影響し得る。35B-A3Bの一部学習も未完了であり、出典はarXivの査読前技術報告として扱いたい。