arXiv reaDer
3D 表現に関する深い生成モデル: 調査
Deep Generative Models on 3D Representations: A Survey
生成モデルは、新しいインスタンスを生成することによって、観察されたデータの分布を学習することを目的としています。ニューラル ネットワークの出現により、変分オートエンコーダー (VAE)、敵対的生成ネットワーク (GAN)、拡散モデル (DM) などの深層生成モデルは、2D 画像の合成において著しく進歩しました。最近、研究者たちは、3D データが私たちの物理世界とより密接に連携しており、実用的な可能性が計り知れないものであると考え、2D 空間から 3D 空間に焦点を移し始めました。ただし、固有の効率的な表現 (ピクセル グリッドなど) を備えた 2D 画像とは異なり、3D データの表現には非常に大きな課題が伴います。理想的には、堅牢な 3D 表現は、複雑な形状や外観を正確にモデリングできると同時に、高い処理速度と低いメモリ要件で高解像度データを効率的に処理できる必要があります。残念ながら、点群、メッシュ、ニューラル フィールドなどの既存の 3D 表現は、これらの要件をすべて同時に満たすことができないことがよくあります。この調査では、2D および 3D の監視を使用する方法を含む、3D 生成モデルの進行中の開発を徹底的にレビューします。私たちの分析は生成モデルに重点を置き、このコンテキストで使用される表現に特に焦点を当てています。私たちの調査は、コミュニティがこの分野の進化を追跡し、この困難な課題の解決に向けた進歩を推進するための革新的なアイデアを生み出すのに役立つと信じています。
Generative models aim to learn the distribution of observed data by generating new instances. With the advent of neural networks, deep generative models, including variational autoencoders (VAEs), generative adversarial networks (GANs), and diffusion models (DMs), have progressed remarkably in synthesizing 2D images. Recently, researchers started to shift focus from 2D to 3D space, considering that 3D data is more closely aligned with our physical world and holds immense practical potential. However, unlike 2D images, which possess an inherent and efficient representation (i.e., a pixel grid), representing 3D data poses significantly greater challenges. Ideally, a robust 3D representation should be capable of accurately modeling complex shapes and appearances while being highly efficient in handling high-resolution data with high processing speeds and low memory requirements. Regrettably, existing 3D representations, such as point clouds, meshes, and neural fields, often fail to satisfy all of these requirements simultaneously. In this survey, we thoroughly review the ongoing developments of 3D generative models, including methods that employ 2D and 3D supervision. Our analysis centers on generative models, with a particular focus on the representations utilized in this context. We believe our survey will help the community to track the field's evolution and to spark innovative ideas to propel progress towards solving this challenging task.
updated: Mon Aug 28 2023 03:02:16 GMT+0000 (UTC)
published: Thu Oct 27 2022 17:59:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト