arXiv reaDer
StyleNeRF: A Style-based 3D-Aware Generator for High-resolution Image Synthesis
構造化されていない2D画像でトレーニングできる、マルチビューの一貫性が高いフォトリアリスティックな高解像度画像合成のための3D対応生成モデルであるStyleNeRFを提案します。既存のアプローチでは、高解像度の画像を細部まで合成できないか、3Dの一貫性のない顕著なアーティファクトが生成されます。さらに、それらの多くは、スタイル属性と明示的な3Dカメラポーズを制御できません。 StyleNeRFは、ニューラルラディアンスフィールド(NeRF)をスタイルベースのジェネレーターに統合して、前述の課題に取り組みます。つまり、高解像度の画像生成のためのレンダリング効率と3D一貫性を向上させます。ボリュームレンダリングは、低解像度の特徴マップを作成するためにのみ実行し、最初の問題に対処するために2Dで段階的にアップサンプリングを適用します。 2Dアップサンプリングによって引き起こされる不整合を軽減するために、より優れたアップサンプラーや新しい正則化損失など、複数の設計を提案します。これらの設計により、StyleNeRFは、高品質で3Dの一貫性を維持しながら、インタラクティブな速度で高解像度の画像を合成できます。 StyleNeRFを使用すると、カメラのポーズやさまざまなレベルのスタイルを制御することもできます。これにより、見えないビューに一般化できます。また、ズームインとズームアウト、スタイルのミキシング、反転、セマンティック編集などの難しいタスクもサポートします。
We propose StyleNeRF, a 3D-aware generative model for photo-realistic high-resolution image synthesis with high multi-view consistency, which can be trained on unstructured 2D images. Existing approaches either cannot synthesize high-resolution images with fine details or yield noticeable 3D-inconsistent artifacts. In addition, many of them lack control over style attributes and explicit 3D camera poses. StyleNeRF integrates the neural radiance field (NeRF) into a style-based generator to tackle the aforementioned challenges, i.e., improving rendering efficiency and 3D consistency for high-resolution image generation. We perform volume rendering only to produce a low-resolution feature map and progressively apply upsampling in 2D to address the first issue. To mitigate the inconsistencies caused by 2D upsampling, we propose multiple designs, including a better upsampler and a new regularization loss. With these designs, StyleNeRF can synthesize high-resolution images at interactive rates while preserving 3D consistency at high quality. StyleNeRF also enables control of camera poses and different levels of styles, which can generalize to unseen views. It also supports challenging tasks, including zoom-in and-out, style mixing, inversion, and semantic editing.
updated: Mon Oct 18 2021 02:37:01 GMT+0000 (UTC)
published: Mon Oct 18 2021 02:37:01 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト