arXiv論文：PointDiT、1枚画像から3D形状を推定——複雑な設計を使わず透明物体にも強いと報告

ICML 2026採択論文として、素朴なViT型拡散モデルで単眼3D形状推定を簡素化する手法が示されました。

結論から言うと、PointDiTは「1枚の画像から3Dの形を推定する」処理を、もっと単純な作りで高精度にしようとする研究です。

2026年7月2日にarXivへ投稿され、コメント欄ではICML 2026論文とされています。既存の単眼3D再構成手法は、複雑な混合アーキテクチャ、細かい損失関数、または3D形状を潜在空間へ圧縮する仕組みに頼ることが多くあります。

PointDiTは、画像から得たDINOv3のトークンを条件にしつつ、生の3D点マップのパッチをそのまま扱う、ピクセル空間のDiffusion Transformerです。論文によると、点マップ用トークナイザーなしで一から拡散モデルを学習し、複雑な潜在拡散系よりシンプルなのに上回る結果を示しました。

透明な物体のように形があいまいな場面でも、より鋭い幾何構造を出せるとしています。家具配置、AR、ロボットの物体理解などに関係します。ただし研究発表であり、手元の写真アプリにそのまま入る話ではありません。データ条件や速度は実装で確認が必要です。これまでの手法は、深度、法線、点群など複数の表現をつなぐために設計が重くなりがちでした。PointDiTの狙いは、入力画像から直接扱える点マップ表現に寄せ、モデル構成を読みやすくして再現や改良をしやすくすることです。