arXiv論文：動画生成中に物体の動きを操作するPhysStream、軌道誤差を12%削減

結論から言うと、動画を作り始めた後でも、物体へ加える速度の変化を指定し、動きを対話的に変えられる動画生成手法が提案されました。2026年9月16日JSTに公開されたarXivプレプリント「PhysStream」は、1枚の画像から動画を作る自己回帰型モデルです。過去に生成したフレームから位置マップと物体追跡マップを作り、「構造化シーン記憶」として次の場面へ引き継ぎます。

利用者は物体の座標を直接固定するのではなく、少量の速度増分信号を途中で加え、モデルに物理的な動きを学ばせます。学習は、まず双方向モデルへ動作制御を追加し、その後、記憶を備えた因果的なモデルを学ぶ2段階です。卓上に複数の剛体がある合成ベンチマークでは、最も強い比較手法より動きの分布距離FVMDを33%、軌道誤差を12%削減しました。

実世界映像の比較では85%超で人間の評価者に選ばれたと報告しています。従来手法では難しかった、生成途中での複数物体の操作が特徴です。将来はゲーム素材やシミュレーション動画の細かな修正に役立つ可能性があります。ただし対象は卓上の剛体場面が中心で、一般的な人物動画や複雑な自然現象で同じ性能になる保証はありません。数値は著者評価です。