arXiv論文：リアルタイム動画AIは利用者を正しく案内できるか——OmniAssistBench、最高でも66.4点

結論から言うと、カメラ映像を見ながら人を案内するAIは、物を見分けるだけでなく、会話の流れを覚え、必要な瞬間まで回答を待つ力がまだ足りません。2026年8月21日にarXivへ投稿された論文「OmniAssistBench」は、リアルタイム動画アシスタントを対話の途中まで含めて評価する新しい基準を提案しました。

静止した質問集では、AIの返答によって利用者の次の行動が変わる現実の案内を測りにくいため、研究チームはインターネット上の動画から目的と手順を逆算し、複数回のやり取りに分割しました。データ作成には専門家が合計1,000時間超を費やしています。100点満点の評価で、独自モデルGemini 3 Proは66.4点、公開モデルQwen3-Omni-Instructは51.2点でした。

モデルは入力の大意を理解できても、手ぶりなど視覚だけの合図を見落とす、過去の会話を保てない、対象の出来事が起こる前に答えてしまう問題が確認されました。将来、料理、修理、介助などをカメラ越しに教えるAIを選ぶ際は、一枚の画像への正答率だけでなく、連続対話と応答時刻の評価を見る必要があります。ただし、これはarXiv上の未査読論文で、指定された経路に沿う評価です。

点数だけで製品全体の安全性や使いやすさを断定できず、実環境での追試も必要です。