我々は、高品質の 3D 屋内部屋の再構成と生成の問題に取り組むための新しいフレームワークである DiffRoom を紹介します。この問題は、部屋の形状の複雑さと多様性によりどちらも困難です。拡散ベースの生成モデルは、これまで画像生成やオブジェクトレベルの 3D 生成において優れたパフォーマンスを示してきましたが、計算コストがかかるため、部屋レベルの 3D 生成にはまだ適用されていません。 DiffRoom では、大まかな占有事前分布に基づいて、効率的で Truncated Signed Distance Field (TSDF) の強力な生成パフォーマンスを備えたスパース 3D 拡散ネットワークを提案します。 KinectFusion のローカル SDF のインクリメンタル アライメントと融合に触発され、TSDF を反復的に拡散および融合し、部屋全体の環境の再構築と生成を容易にする拡散ベースの TSDF 融合アプローチを提案します。さらに、トレーニングを容易にするために、トレーニングの収束プロセスを高速化し、高品質の再構築を可能にするカリキュラム拡散学習パラダイムを導入します。ユーザー調査によると、DiffRoom によって生成されたメッシュ品質は、ScanNet によって提供されるグラウンド トゥルース メッシュをも上回る可能性があります。最新の進捗状況とデモについては、プロジェクト ページ https://akirahero.github.io/DiffRoom/ をご覧ください。
We present DiffRoom, a novel framework for tackling the problem of high-quality 3D indoor room reconstruction and generation, both of which are challenging due to the complexity and diversity of the room geometry. Although diffusion-based generative models have previously demonstrated impressive performance in image generation and object-level 3D generation, they have not yet been applied to room-level 3D generation due to their computationally intensive costs. In DiffRoom, we propose a sparse 3D diffusion network that is efficient and possesses strong generative performance for Truncated Signed Distance Field (TSDF), based on a rough occupancy prior. Inspired by KinectFusion's incremental alignment and fusion of local SDFs, we propose a diffusion-based TSDF fusion approach that iteratively diffuses and fuses TSDFs, facilitating the reconstruction and generation of an entire room environment. Additionally, to ease training, we introduce a curriculum diffusion learning paradigm that speeds up the training convergence process and enables high-quality reconstruction. According to the user study, the mesh quality generated by our DiffRoom can even outperform the ground truth mesh provided by ScanNet. Please visit our project page for the latest progress and demonstrations: https://akirahero.github.io/DiffRoom/.