arXiv論文：画像AI14種、空間の関係を答えるより実際に計画して動く課題で苦戦

結論から言うと、2026年9月10日投稿のarXivプレプリント「MindTopo」は、画像を理解する基盤AIが、物の空間関係を質問に答えるだけなら比較的できても、その理解を使って連続的に行動を計画する段階で大きく苦戦すると報告しました。距離や角度だけでなく、輪の内外、物が分かれているか、順番、つながり、結び目など、形を伸ばしても変わらない関係を「位相」と呼びます。

研究チームは、連続性・分離・順序・包囲・結び目の5性質について、難しさを調整できる13種類、計1万1030問のMindTopoを作りました。評価は、関係や変化を答える「推論」と、AIが環境の操作を選び続ける「計画」の2段階です。14種類のマルチモーダルLLMを比べたところ、すべて推論より計画の成績が低く、最高モデルも観測した人間の成績を大きく下回りました。

Qwen3-VL-2B-Instructへの教師あり追加学習と強化学習も、推論ほど計画を改善しませんでした。画像・動画生成を補助にした構成では、局所的にもっともらしい途中像や終点を作れても、環境の動きや位相を一連の手順で保てない例が確認されました。利用者には、AIが図を説明できても、ロボット操作や設計手順まで正しいとは限らないという注意になります。

ただし現時点ではプレプリントで、実世界すべてを直接測った結果ではありません。