arXiv reaDer
Pix2NeRF:単一画像から神経放射輝度フィールドへの変換のための教師なし条件付きπ-GAN
Pix2NeRF: Unsupervised Conditional π-GAN for Single Image to Neural Radiance Fields Translation
単一の入力画像を条件として、オブジェクトまたは特定のクラスのシーンのNeural Radiance Fields〜(NeRF)を生成するパイプラインを提案します。 NeRFのトレーニングには、取得が難しい対応するポーズと組み合わせて、同じシーンの複数のビューが必要になるため、これは困難な作業です。私たちの方法は、無条件の3D対応画像合成の生成モデルであるπ-GANに基づいています。これは、ランダムな潜在コードをオブジェクトのクラスの放射輝度フィールドにマッピングします。 (1)π-GAN対物レンズを最適化して、忠実度の高い3D認識生成を利用し、(2)慎重に設計された再構成対物レンズを使用します。後者には、自動エンコーダーを形成するためにπ-GANジェネレーターと結合されたエンコーダーが含まれます。以前の数ショットのNeRFアプローチとは異なり、パイプラインは教師なしであり、3D、マルチビュー、またはポーズの監視なしで独立した画像でトレーニングすることができます。私たちのパイプラインのアプリケーションには、3Dアバターの生成、単一の入力画像を使用したオブジェクト中心の新しいビューの合成、3D対応の超解像などがあります。
We propose a pipeline to generate Neural Radiance Fields~(NeRF) of an object or a scene of a specific class, conditioned on a single input image. This is a challenging task, as training NeRF requires multiple views of the same scene, coupled with corresponding poses, which are hard to obtain. Our method is based on π-GAN, a generative model for unconditional 3D-aware image synthesis, which maps random latent codes to radiance fields of a class of objects. We jointly optimize (1) the π-GAN objective to utilize its high-fidelity 3D-aware generation and (2) a carefully designed reconstruction objective. The latter includes an encoder coupled with π-GAN generator to form an auto-encoder. Unlike previous few-shot NeRF approaches, our pipeline is unsupervised, capable of being trained with independent images without 3D, multi-view, or pose supervision. Applications of our pipeline include 3d avatar generation, object-centric novel view synthesis with a single input image, and 3d-aware super-resolution, to name a few.
updated: Sat Feb 26 2022 15:28:05 GMT+0000 (UTC)
published: Sat Feb 26 2022 15:28:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト