EMNLP 2026論文：PCとスマホをまたぐ操作でGUIエージェントの弱点を測る「JarvisGUI」

結論から言うと、EMNLP 2026本会議採択論文「JarvisGUI」は、AIがパソコンやスマートフォンをまたいで作業する力を測る新しい評価基準です。論文は2026年9月9日にarXivへ投稿されました。従来のGUI操作AIの評価は、1台の端末で内容が固定された課題が中心でした。

しかし実際の仕事では、スマホで得た情報をWindowsの書類へ移し、別のUbuntu環境で処理するように、中間結果を端末間で引き継ぐ必要があります。JarvisGUIは、GUI作業を入力から出力への変換として軽量な型で表現し、複数の小さな操作を自動で組み合わせて、手順の長い課題を動的に作ります。評価環境にはAndroid、Windows、Ubuntuの仮想環境が含まれます。

著者らが最先端のオープンソースGUIエージェントを調べたところ、端末をまたぐ状態の把握、異なるOSの文脈理解、長い手順の依存関係の管理に苦戦しました。利用者にとっては、PC操作AIが単発のクリックに成功しても、複数端末の実務を任せられるとは限らないと分かります。注意点として、抄録は具体的な成功率や対象モデル名を示しておらず、現時点では製品の優劣を断定できません。

評価結果の詳細は論文本体と追試で確認する必要があります。