arXiv論文：パソコン操作AIの「失敗」判定15.3%が誤り——5ベンチマーク150件を再監査

結論から言うと、Webやデスクトップを操作するAIのベンチマーク点数には、AIではなく採点側の誤りが混ざっている。2026年7月30日にarXivへ提出された未査読プレプリントは、5種類の公開ベンチマークで「失敗」と判定された操作履歴150件を監査した。対象はWeb、企業向け業務フロー、デスクトップ操作を含む。

研究チームは、課題の作り方、操作中に残る証拠、採点、結果報告という4段階で、どこに信頼性の問題が起きるかを整理した。再確認の結果、失敗判定の15.3%が誤りだった。内訳は、AIが別の正しい手順で達成したのに採点器が認めない「偽の失敗」が10.7%、古くなったページや壊れた条件など課題自体の不具合が4.7%だった。

本当に失敗した例では、画面上のクリックミスよりも、結果を確かめて修正する力や計画の問題が目立った。AIツールを比較する人にとっては、成功率の数字だけで順位を決めず、どんな課題で、誰が、何を証拠に採点したかを見る必要がある。自社導入では、正解手順を一つに固定せず、最終状態を人が抜き取り確認する評価が役立つ。

ただし監査対象は公開された失敗例150件で、全ベンチマークの全試行を再採点したわけではない。出典はarXiv原論文で、査読前の結果として扱いたい。