arXiv reaDer
NeRF を使用した 3D 対応のマルチクラス画像から画像への変換
3D-Aware Multi-Class Image-to-Image Translation with NeRFs
ニューラル ラディアンス フィールド (NeRF) と組み合わせた 3D 対応の生成モデル (3D 対応 GAN) の最近の進歩により、印象的な結果が得られました。ただし、3D 一貫性のあるマルチクラスの画像から画像 (3D 対応 I2I) への変換のために 3D 対応 GAN を調査した先行研究はありません。単純に 2D-I2I 変換メソッドを使用すると、非現実的な形状/アイデンティティの変更に悩まされます。 3D 認識マルチクラス I2I 変換を実行するために、この学習プロセスをマルチクラス 3D 認識 GAN ステップと 3D 認識 I2I 変換ステップに分離します。最初のステップでは、新しい条件付きアーキテクチャと効果的なトレーニング戦略という 2 つの新しい手法を提案します。 2 番目のステップでは、ビューの一貫性を維持する、十分にトレーニングされたマルチクラス 3D 対応 GAN アーキテクチャに基づいて、3D 対応 I2I 翻訳システムを構築します。ビューの一貫性の問題をさらに軽減するために、U-net のようなアダプター ネットワーク設計、階層表現の制約、相対正則化損失など、いくつかの新しい手法を提案します。 2 つのデータセットに関する大規模な実験では、定量的および定性的な結果により、マルチビューの一貫性を備えた 3D 対応の I2I 変換を正常に実行できることが示されました。
Recent advances in 3D-aware generative models (3D-aware GANs) combined with Neural Radiance Fields (NeRF) have achieved impressive results. However no prior works investigate 3D-aware GANs for 3D consistent multi-class image-to-image (3D-aware I2I) translation. Naively using 2D-I2I translation methods suffers from unrealistic shape/identity change. To perform 3D-aware multi-class I2I translation, we decouple this learning process into a multi-class 3D-aware GAN step and a 3D-aware I2I translation step. In the first step, we propose two novel techniques: a new conditional architecture and an effective training strategy. In the second step, based on the well-trained multi-class 3D-aware GAN architecture, that preserves view-consistency, we construct a 3D-aware I2I translation system. To further reduce the view-consistency problems, we propose several new techniques, including a U-net-like adaptor network design, a hierarchical representation constrain and a relative regularization loss. In extensive experiments on two datasets, quantitative and qualitative results demonstrate that we successfully perform 3D-aware I2I translation with multi-view consistency.
updated: Mon Mar 27 2023 08:54:51 GMT+0000 (UTC)
published: Mon Mar 27 2023 08:54:51 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト