3D シーンの理解における最近の進歩により、さまざまなシーンの大規模なデータセットにわたる表現のスケーラブルな学習が可能になりました。その結果、目に見えないシーンやオブジェクトへの一般化、たった 1 つまたは少数の入力画像からの新しいビューのレンダリング、および編集をサポートする制御可能なシーン生成が可能になりました。ただし、多数のシーンで共同トレーニングを行うと、NeRF などの単一シーンに最適化されたモデルと比較すると、通常、レンダリング品質が低下します。この論文では、拡散モデルの最近の進歩を活用して、オブジェクトレベルのシーン編集などの利点を大幅に維持しながら、高忠実度の新しいビューをレンダリングする機能を 3D シーン表現学習モデルに装備します。特に、我々は、オブジェクト中心のスロットベースのシーン表現を条件とする 3D シーン生成のためのビデオ拡散アーキテクチャを適応させる DORSal を提案します。複雑な合成マルチオブジェクト シーンと現実世界の大規模ストリート ビュー データセットの両方で、DORSal がオブジェクト レベルの編集による 3D シーンのスケーラブルなニューラル レンダリングを可能にし、既存のアプローチを改善することを示します。
Recent progress in 3D scene understanding enables scalable learning of representations across large datasets of diverse scenes. As a consequence, generalization to unseen scenes and objects, rendering novel views from just a single or a handful of input images, and controllable scene generation that supports editing, is now possible. However, training jointly on a large number of scenes typically compromises rendering quality when compared to single-scene optimized models such as NeRFs. In this paper, we leverage recent progress in diffusion models to equip 3D scene representation learning models with the ability to render high-fidelity novel views, while retaining benefits such as object-level scene editing to a large degree. In particular, we propose DORSal, which adapts a video diffusion architecture for 3D scene generation conditioned on object-centric slot-based representations of scenes. On both complex synthetic multi-object scenes and on the real-world large-scale Street View dataset, we show that DORSal enables scalable neural rendering of 3D scenes with object-level editing and improves upon existing approaches.