arXiv reaDer
3inGAN: 自己相似シーンの画像から 3D 生成モデルを学習する
3inGAN: Learning a 3D Generative Model from Images of a Self-similar Scene
単一の自己相似 3D シーンの 2D 画像からトレーニングされた無条件の 3D 生成モデルである 3inGAN を紹介します。このようなモデルを使用して、空間潜在コードを 3D ボリューム表現にマッピングすることにより、特定のシーンの 3D "リミックス" を生成できます。これは、その後、物理ベースのボリューム レンダリングを使用して任意のビューからレンダリングできます。構築により、生成されたシーンは、ちらつきや時空間アーティファクトなしで、任意のカメラ構成全体でビューの一貫性を保ちます。トレーニング中、微分可能なボリューム トレーシングによって取得された 2D と、複数のスケールにわたる 3D Generative Adversarial Network (GAN) 損失の組み合わせを採用し、3D 構造と 2D レンダリングの両方にリアリズムを適用します。実際のソースと合成ソースから得られた、さまざまな規模と複雑さの半確率的シーンの結果を示します。初めて、単一の模範的なシーンから妥当なビューの一貫性のある 3D シーンのバリエーションを学習する可能性を示し、最近の関連する方法との定性的および定量的な比較を提供します。
We introduce 3inGAN, an unconditional 3D generative model trained from 2D images of a single self-similar 3D scene. Such a model can be used to produce 3D "remixes" of a given scene, by mapping spatial latent codes into a 3D volumetric representation, which can subsequently be rendered from arbitrary views using physically based volume rendering. By construction, the generated scenes remain view-consistent across arbitrary camera configurations, without any flickering or spatio-temporal artifacts. During training, we employ a combination of 2D, obtained through differentiable volume tracing, and 3D Generative Adversarial Network (GAN) losses, across multiple scales, enforcing realism on both its 3D structure and the 2D renderings. We show results on semi-stochastic scenes of varying scale and complexity, obtained from real and synthetic sources. We demonstrate, for the first time, the feasibility of learning plausible view-consistent 3D scene variations from a single exemplar scene and provide qualitative and quantitative comparisons against recent related methods.
updated: Sun Nov 27 2022 18:03:21 GMT+0000 (UTC)
published: Sun Nov 27 2022 18:03:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト