arXiv論文：PC操作AIがGUIとコマンドを併用、9Bモデルで手順を最大57%削減

結論から言うと、PC操作AIに画面上のクリックだけでなくコマンド操作も使い分けさせると、成功率を上げながら手順とトークンを減らせる可能性が示されました。CUA-Universe研究チームが2026年9月4日にarXivで公開した論文は、実在するデスクトップソフトをGUIとCLIの両方で扱える学習環境へ変換する仕組みを提案しています。

具体的には、App-Forgeが16種類のアプリを再現可能な仮想マシンとコマンド操作面へ整え、Task-Weaveが元ファイルから難易度を調整できる課題を作り、Path-Steerが効率的な操作経路へAIを導いて検証済みの学習履歴を集めます。

このデータで学習した90億パラメータのモデルは、独自評価CUA-Verseでスコアが39.3ポイント上がり、手順を37%、トークンを60%削減しました。OSWorldでも成功率が16.8ポイント上がり、手順を57%、トークンを44%減らしたと報告されています。

利用者にとっては、表計算やファイル処理のように画面確認と大量処理が混ざる仕事で、適切な操作方法を選ぶAIが速くなる期待があります。ただし結果は研究用環境と同チームの9Bモデルによるものです。一般のPCや別モデルで同じ改善が出るとは限らず、誤ったコマンドの実行権限や取り消し手段も別に設計する必要があります。