SIGGRAPH Asia 2026採択論文：動画で「出来事が起きた後だけ」編集するEgoPlay——10.6万組で学習

結論から言うと、動画全体を一律に変えるのではなく、「ある出来事が起きた後だけ編集する」生成AIが提案された。SIGGRAPH Asia 2026採択論文「EgoPlay」は2026年7月27日、arXivで公開された。入力は一人称視点の動画と「Xが起きたらYを行う」という指示で、AIがXの発生有無と時刻を判断し、発生前の映像を保ったまま、その後だけYの編集を加える。

別の出来事検出器と編集器をつなぐのではなく、検出、編集を待つ制御、画素単位の変更を一つの動画拡散モデルで学ぶ点が特徴だ。学習データはEgo4Dを中心に作った10万6000組の動画と指示で、実際に起きる出来事だけでなく、起きない偽の指示や複数出来事も含む。

Ego4D評価では従来のEgoEditより、編集品質17.7%、見た目の品質16.9%、背景の一貫性16.4%の相対向上を報告した。VLMで検出してから編集する方式にも同じ3指標で15.7%、14.5%、13.5%上回り、GPUメモリは半分未満だった。自分に関係するのは、長い装着カメラ映像や作業動画で、必要な場面だけ自然に変える編集へ近づく点だ。

ただし結果は研究用データ上の著者評価で、誤検出や人物・著作権への配慮は別に必要。公開論文だけで一般向け製品として使えるとは限らない。