arXiv論文：パソコン操作AIの採点モデルは失敗を成功と見なしやすい——低コスト判定AIを公開

結論から言うと、パソコン操作AIが仕事を終えたかを別のAIに判定させる方法には、失敗を成功と見なす「甘い採点」の危険がある。2026年7月30日にarXivへ提出された作業中の未査読プレプリントは、画面操作の採点モデルを比べるベンチマーク「OSReward」を公開した。

研究チームは、複数のOSやアプリで異なる操作AIが人の確認済み指示を実行した履歴を集め、複数段階の人手作業で正解ラベルを付けた。難しい例に絞るOSReward-Hardと、細かな効率や整合性を見るOSReward-Multiも用意した。評価では最新の画像言語モデルでも理想的な採点者には届かず、失敗した操作を成功と誤判定する共通の傾向が見つかった。

信頼できるモデルは大規模運用には高価で、安い公開モデルは精度が離れていた。そこで推論過程付きの判定データ10万件「OS-Shepherd-100K」と、90億・350億パラメータの公開モデルを作成。商用の採点モデルに近い性能を、30〜60%低い費用で実現したとしている。利用者は、操作AIの成功表示だけを信じず、送信先、保存結果、変更内容など重要な最終状態を確認したい。

企業の自動化では、人の抜き取り監査と失敗時の停止条件が必要だ。ただし論文は作業中で査読前であり、すべての製品や現場を保証する評価ではない。出典はarXiv原論文である。