arXiv論文：画像を切り抜くAIは「見たふり」も——6モデル・5評価で、画像が回答に効かない失敗を確認

結論から言うと、画像を切り抜いたり拡大したりしながら考えるAIは、道具を呼んでも返された画像を回答に生かしていない場合がある。arXivの人工知能分野へ2026年8月6日に投稿された査読前論文「The Illusion of Visual Tool-Use」は、画像操作が本当に答えを変えたかを因果関係として調べた。

研究チームは代表的な6モデルと、細かな視覚認識を問う5つの評価データを使い、直接回答との比較、操作後の画像をすべて壊す実験、途中の1枚だけを別画像に置き換える実験を行った。その結果、全体の正答率が少し上がって見えても、改善は適切に道具を使えた一部の例に集中した。

失敗は、画像を呼び出しても内容が回答に影響しない「Calling Without Looking」と、得た画像には情報があるのに呼び出す順序や場所が不適切な「Looking Without Planning」の2種類に整理された。

画像付きの資料調査や画面操作AIを使う人には、操作回数が多いことを丁寧さの証拠と見なさず、拡大後の根拠と最終回答がつながっているか確認する必要があるという示唆だ。ただし現段階はarXiv上の査読前研究で、数値は選んだモデルと評価データに依存する。著者らは検査コードを公開しているが、実運用へ一般化するには別の画像や日本語課題での再検証が必要だ。