arXiv論文：画像を使うAIの作業メモを整理、精度66.27%で総トークン18.6%減

結論から言うと、画像を見ながら何段階も考えるAIに、切り抜きやマスクなどの途中画像を整理する作業台を持たせる「VLM-in-Sandbox」が提案された。2026年9月21日にarXivのcs.AIへ公開された未査読プレプリントで、追加学習なしに視覚AIの精度と効率を両立させる研究である。

画像AIが道具を使うと、拡大画像、物体の輪郭、注釈入り画像などが次々に生まれる。すべてを会話へ残す方式は、入力が長くなり、重要な証拠が埋もれやすい。提案法は生成した画像を台帳へ登録し、会話に入れる画像数を一定に抑え、AI自身が次に必要な画像だけを選んで残す。画像を作る処理と、どの画像を見るかの管理を分けた点が特徴だ。

7種類の評価と4つの基盤モデルで、単純な画像AIや全画像を追加し続ける方式より、問題数を加味した平均精度が最も高かった。1260例の条件をそろえた比較では、精度66.27%を保ちながら総トークンを18.6%削減した。GPT-4.1-miniの6350例では、従来方式の誤答を302例で正解へ変えた一方、142例は逆に悪化した。

画面操作AIや画像調査を作る人には、途中画像を無制限に渡さず、必要な証拠を選ぶ設計の参考になる。ただし結果は研究用の設定で、すべてのアプリやモデルに同じ効果が出るとは限らない。誤答へ変わった例もあり、医療画像など重要用途では履歴を減らす前に、人が確認できる記録を別に残す必要がある。