EMNLP 2026論文：動画の場面転換を画像AIで見つけ、説明文の位置と内容を改善

結論から言うと、長い動画を場面ごとに区切って説明文を付けるAIで、映像の意味が変わった場所を先に見つけてから文章を作る手法「SBS」が提案されました。EMNLP 2026本会議の長編論文として採択された研究で、細かな開始・終了時刻を人が付けず、動画ごとに並べた出来事の説明だけを使う弱教師あり学習が対象です。

従来法には、LLMで場面間の補助説明を作っても実際の映像に根拠がないことや、すべての出来事の間に固定の位置・長さで説明を置く問題がありました。SBSはまず画像と言葉を扱うVLMで場面間の各フレームを文章化し、その意味の変化から本当に転換がある部分を検出します。転換が見つかった場合だけ補助説明を作り、時間位置は場面間の中央と意味が変わった点を混ぜて調整します。

説明を置く時間幅も、映像と文章の一致度が最も高くなるものを選びます。ActivityNet CaptionsとYouCook2で試した結果、説明文の生成と時間位置の特定の両方で最先端の成績になったと報告しています。将来は、授業動画や料理動画の章分け、検索用の見出し作りを少ない手作業で改善できる可能性があります。

ただし、要旨には具体的な点数や処理費用がなく、対象データも限られます。一般の日本語動画やライブ映像で同じ効果が出るかは追加検証が必要です。