ECCV 2026論文：鏡を「もう1台のカメラ」として扱い、映り込みまで整合する3D視点画像を生成

結論から言うと、ECCV 2026論文「Ref-GeNVS」は、鏡がある場面の新しい視点画像を、追加学習なしで自然に生成する方法を提案しました。論文は2026年9月4日にarXivへ投稿されています。従来の複数視点向け拡散モデルは、鏡を普通の模様として扱いやすく、カメラを動かした画像を作ると、鏡の中だけ人物や物の位置がずれる問題がありました。

具体的には、入力画像から鏡の平面を推定し、実際のカメラ位置を鏡の向こう側へ反転した「仮想視点」を作ります。その上で、鏡の部分を選んで情報を受け渡すMirror-gated attentionと、反射像を生成へ注入するReflection injectionの2段階を使います。

著者らは、合成場面と実写場面の両方で、近年の新規視点生成法より反射の整合性と場面全体の一貫性が高く、鏡にだけ見える構造も再現できたと報告しています。利用者には、室内の3D再現、物件紹介、商品撮影や映像制作で、鏡を含む素材の破綻を減らせる可能性があります。ただし、公開情報は著者らの実験結果であり、製品として使える機能の発表ではありません。

鏡面の推定が難しい形や、複雑な反射での性能は個別確認が必要です。