arXiv論文：物理・奥行き・見た目を1つのAIで扱うPuffin-World、1600万組のデータで学習

結論から言うと、画像の見た目だけでなく、重力などの物理情報、奥行き、カメラの動きを1つのAIでまとめて扱い、3D世界の生成と復元を行う「Puffin-World」が提案されました。2026年9月3日にarXivへ投稿されたコンピュータビジョン分野のプレプリントです。

従来は奥行き推定やカメラ位置計算などを別々の外部部品へ任せる構成が多いのに対し、この研究は物理状態として重力場と緯度、幾何状態として深度、外観状態として画像を同時にモデル化します。多様なカメラを共通に表すOmni-Camera表現も使い、将来の場面へ物理的な動きを伝えながら、次の見え方とその下にある形状を一緒に生成します。

学習用のPuffin-16Mは、視覚・文章・カメラ情報の組を1500万件、さまざまな動きを含む軌跡を100万件収録し、合計1600万件です。著者らはコード、モデル、データセットを公開したと説明しています。利用者にとっては、写真や動画から視点を動かせる3D空間を作る機能や、ロボットが周囲の形と動きを一体で理解する技術につながる可能性があります。

ただし、要旨には一般端末での速度や商用利用条件の詳細がなく、現実の複雑な物理を完全に再現できる証明でもありません。査読会議の採択は記載されていないため、現時点ではプレプリントとして評価する必要があります。