EMNLP 2026論文：ロボットAIを28万条件で評価、複雑な位置関係と長手順が弱点

結論から言うと、現在のロボットAIは単純な物の移動には対応できても、位置関係が細かくなったり作業手順が長くなったりすると、理解・実行・記憶の弱点が表れます。EMNLP 2026本会議に採択された論文は、視覚・言語・動作をまとめて扱うVLAモデルを診断するデータセット兼評価基準「RoboSPA」を提案し、2026年9月4日にarXivで公開しました。

RoboSPAは、細かな空間推論と長い手順の計画という2つの軸を中心に、10種類の課題群と56個の基本課題を収録しています。各課題を難易度5段階に展開したため合計280種類となり、複数のロボット形態と多様な場面から52万7000本の操作軌跡を集めました。単に最後まで成功したかだけでなく、どの能力で失敗したかを調べる診断指標も用意されています。

代表的なVLAモデルを試すと、複雑な空間関係、正確な細部操作、多くの情報を覚えながら進める計画で、なお苦戦することが確認されました。利用者には、家庭や工場でロボットを導入する時に、簡単な成功例だけで判断せず、似た物が増えた場面や長い手順まで段階的に試す必要があると分かります。ただし要約には各モデルの個別成功率が示されておらず、実世界すべての作業を代表するわけでもありません。

データとコードは公開されていますが、結果は著者らの設定で確認すべきです。