3D シーンを理解するための条件付き生成モデルである SceneDiffuser を紹介します。 SceneDiffuser は、シーン条件付きの生成、最適化、および計画を解決するための統合モデルを提供します。以前の作品とは対照的に、SceneDiffuser は本質的にシーン認識、物理ベース、および目標指向です。反復サンプリング戦略により、SceneDiffuser は、完全に微分可能な方法で拡散ベースのノイズ除去プロセスを介して、シーンを意識した生成、物理ベースの最適化、および目標指向の計画を共同で定式化します。このような設計は、異なるモジュール間の不一致と、以前のシーン条件付き生成モデルの後方崩壊を軽減します。人間のポーズとモーションの生成、器用な把握の生成、3D ナビゲーションのパス プランニング、ロボット アームのモーション プランニングなど、さまざまな 3D シーン理解タスクで SceneDiffuser を評価します。結果は、以前のモデルと比較して大幅な改善を示しており、3D シーンを理解する幅広いコミュニティにとって SceneDiffuser の大きな可能性を示しています。
We introduce SceneDiffuser, a conditional generative model for 3D scene understanding. SceneDiffuser provides a unified model for solving scene-conditioned generation, optimization, and planning. In contrast to prior works, SceneDiffuser is intrinsically scene-aware, physics-based, and goal-oriented. With an iterative sampling strategy, SceneDiffuser jointly formulates the scene-aware generation, physics-based optimization, and goal-oriented planning via a diffusion-based denoising process in a fully differentiable fashion. Such a design alleviates the discrepancies among different modules and the posterior collapse of previous scene-conditioned generative models. We evaluate SceneDiffuser with various 3D scene understanding tasks, including human pose and motion generation, dexterous grasp generation, path planning for 3D navigation, and motion planning for robot arms. The results show significant improvements compared with previous models, demonstrating the tremendous potential of SceneDiffuser for the broad community of 3D scene understanding.