arXiv論文：ロボット評価AI、同じ指示の言い換えだけで成功・失敗判定が逆転

結論から言うと、ロボットの動作を採点する画像言語AIは、意味が同じ指示文を言い換えただけで点数が大きく変わり、同じ動作を成功から失敗へ逆転判定する場合があると、2026年9月4日投稿のarXiv論文が報告しました。研究チームはこの弱点を測る「ROBORMBENCH」を作成しました。

データは実機ロボットの2390本の動作履歴、正解となる進み具合のラベル、語句・文法・行動目標の表現を変えた2万1673件の確認済み言い換えで構成されます。独自モデルと公開モデルの両方を調べたところ、表現の違いが大きいほど評価の不安定さが増え、モデルを大型化したり、明示的に推論させたりしても安定して解消しませんでした。

一方、動作履歴に基づく教師データで専用に学習した報酬モデルは、より安定したとしています。ロボットや自動操作を作る人にとっては、指示文を1種類だけ試して安全性を判断してはいけないという意味があります。同義語や語順を変えた複数の指示でも同じ結果になるかを確認すべきです。注意点として、論文は特定の評価データ上の結果で、すべてのロボットやAIが必ず誤判定するという主張ではありません。

実運用では実機の停止機構や人の監督も必要です。