arXiv reaDer
BlobGAN-3D: 屋内シーン用の空間的に解きほぐされた 3D 対応の生成モデル
BlobGAN-3D: A Spatially-Disentangled 3D-Aware Generative Model for Indoor Scenes
3D 対応の画像合成は、現実世界の 3D の性質をモデル化するため、関心が高まっています。ただし、複数オブジェクトのシナリオで生成された画像の現実的なオブジェクト レベルの編集を実行することは、依然として課題です。最近、BlobGAN と呼ばれる 2D GAN が、実世界の屋内シーン データセットで優れたマルチオブジェクト編集機能を実証しました。この作業では、元の 2D BlobGAN を 3D 対応に改良した BlobGAN-3D を提案します。 2D ブロブを 3D ブロブに拡張することで、シーン内の個々のオブジェクトの絡み合いを維持しながら、明示的なカメラ ポーズ コントロールを有効にします。 BlobGAN のオブジェクト レベルの編集機能を保持し、さらにシーン内のオブジェクトの 3D 位置を柔軟に制御できます。現実世界の屋内データセットでメソッドをテストし、このメソッドが 2D BlobGAN やその他の 3D 対応 GAN ベースラインと比較して同等の画質を達成できることを示しながら、挑戦的なマルチ環境でカメラのポーズ制御とオブジェクトレベルの編集を可能にします。オブジェクトの現実世界のシナリオ。
3D-aware image synthesis has attracted increasing interest as it models the 3D nature of our real world. However, performing realistic object-level editing of the generated images in the multi-object scenario still remains a challenge. Recently, a 2D GAN termed BlobGAN has demonstrated great multi-object editing capabilities on real-world indoor scene datasets. In this work, we propose BlobGAN-3D, which is a 3D-aware improvement of the original 2D BlobGAN. We enable explicit camera pose control while maintaining the disentanglement for individual objects in the scene by extending the 2D blobs into 3D blobs. We keep the object-level editing capabilities of BlobGAN and in addition allow flexible control over the 3D location of the objects in the scene. We test our method on real-world indoor datasets and show that our method can achieve comparable image quality compared to the 2D BlobGAN and other 3D-aware GAN baselines while being able to enable camera pose control and object-level editing in the challenging multi-object real-world scenarios.
updated: Sun Mar 26 2023 12:23:11 GMT+0000 (UTC)
published: Sun Mar 26 2023 12:23:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト