arXiv論文：AIがロボット評価を作り、途中の欠陥をさかのぼって修復——Embodied-BenchForge

結論から言うと、ロボットAIの評価問題を別のAIに作らせるときは、最後だけ確認するのではなく、途中の設計図やデータごとに検査し、原因まで戻って直す仕組みが重要です。2026年9月11日にarXivへ公開されたプレプリント（会議採択の記載なし）は、評価したい内容を入力すると、身体を持つAI向けのベンチマーク一式を作る「Embodied-BenchForge」を提案しました。

従来の自動化は一部工程だけを扱ったり、決まった環境や課題に限られたりしがちでした。また、複数工程で作る途中成果物に欠陥があると、そのまま後工程へ伝わる問題があります。提案手法は、型を決めた再利用可能なスキルを組み合わせて作業手順を作り、成果物同士の依存関係をグラフに記録します。各成果物を要件に照らして検査し、不合格ならその部分だけ再実行するか、原因になった上流工程まで戻します。

研究では、画像などを見て答えるオフライン系で6つ、環境とやり取りするインタラクティブ系で220個の実行可能タスクを含む1つ、合計7つのベンチマークを構築しました。代表的なマルチモーダルAIと身体性エージェントを評価し、観察からの理解と、動きながら判断する実行力の差を測れると報告しています。

利用者には、AIでテストを量産する際も、入力、期待結果、依存関係、修正履歴を残す設計の参考になります。ただし、要旨は個別モデルの得点や人手作成との費用比較を示しておらず、品質の一般化には本文確認と追試が必要です。出典はarXivの論文要旨です。