arXiv論文：教師データなしで動画内の状態変化を学習、実写質問の精度を7.95ポイント改善

結論から言うと、正解ラベルや別の教師AIを用意せず、動画の中で物や人の状態がどう変わったかを追う能力を改善する学習法「S3T」が提案されました。2026年9月3日にarXivへ投稿されたコンピュータビジョン分野のプレプリントです。仕組みは、同じ短い動画を細かい間隔で見る側を教師、少ない場面だけを見る側を生徒として扱い、同じモデルの次の単語の確率を近づける自己蒸留です。

モデル自身が目標を作るため、手作業のラベル、別モデル、報酬信号が不要で、利用時の計算量も増やさないと著者らは説明します。LLaVA-OneVision-2-8Bで試すと、動画状態追跡評価VSTATは単体で1.74ポイント、複数重みの統合で2.38ポイント、画像部分も調整すると2.70ポイント改善しました。

ラベルなし合成動画で学んだ能力は実写にも移り、VSTAT-YouTubeで7.95ポイント、MVBenchの行動回数問題で4.50ポイント向上しました。動画要約や監視映像の確認では、途中で物が増減したかを追う精度改善につながる可能性があります。ただし比較は特定モデルと評価セットでの結果で、一般向け動画AIすべてに同じ効果が出るとは限りません。

査読会議の採択は記載されておらず、現時点ではarXivプレプリントです。