ECCV 2026論文：動画の8種類の見え方を同時予測するUniD——ばらばらの教師データから深度・材質・人物部位まで学習

結論から言うと、動画AIが「何が写っているか」だけでなく、奥行き、材質、影、人の部位までまとめて読む方向に進んでいる。arXivに7月23日投稿され、ECCV 2026と記載された論文「Unified Video Dense Prediction from Disjoint Data」は、UniDという統合動画モデルを提案した。何が起きたか。

現実のデータセットは、深度だけ、人物部位だけ、材質だけのように注釈がばらばらで、全タスクの正解がそろった動画は少ない。具体的にはUniDは、深度、表面法線、セマンティックセグメンテーション、境界、人物部位、アルベド、陰影、材質の8種類を一つのモデルで予測する。

タスクごとの専門モデルを先生にして、軽いtask projectorを通じて統一バックボーンを蒸留するため、注釈の重なりや大量の疑似ラベルを前提にしない。実験では専門モデルや従来のマルチタスク手法と競争でき、未知の場面にも強いと報告している。自分に関係する点は、動画編集、AR、ロボット、商品撮影、3D化などで、動画の意味と見た目を細かく分けて扱える可能性だ。

ただし論文段階で、計算量や商用利用時の品質はまだ確認が必要。出典はarXiv論文ページ。