arXiv reaDer
PREIM3D: 単一画像からの 3D 一貫性のある正確な画像属性編集
PREIM3D: 3D Consistent Precise Image Attribute Editing from a Single Image
この論文では、実際に幅広い用途を持つ3D認識画像属性編集問題を研究します。最近の方法では、共有エンコーダーをトレーニングして画像を 3D ジェネレーターの潜在空間にマッピングするか、画像ごとの潜在コードを最適化し、潜在空間で画像を編集することによって問題を解決しました。入力ビューの近くでは有望な結果が得られますが、大きなカメラのポーズで生成された画像の 3D の不一致や、編集中に不特定の属性に影響を与えるなどの不正確な画像属性の編集にまだ悩まされています。より効率的な画像反転のために、すべての画像に対して共有エンコーダーをトレーニングします。大きなカメラのポーズでの 3D の不一致を緩和するために、3D の一貫性と被験者のアイデンティティを維持するために、交互トレーニング スキームとマルチビュー アイデンティティの損失という 2 つの新しい方法を提案します。不正確な画像編集については、実画像の潜在空間と生成された画像の潜在空間との間のギャップに問題があると考えています。 GANモデルの潜在空間と反転多様体を比較し、反転多様体での編集が定量的評価と定性的評価の両方でより良い結果を達成できることを示します。広範な実験により、私たちの方法がより3Dの一貫した画像を生成し、以前の作業よりも正確な画像編集を実現することが示されています。ソース コードと事前トレーニング済みのモデルは、プロジェクト ページ https://mybabyyh.github.io/Preim3D/ にあります。
We study the 3D-aware image attribute editing problem in this paper, which has wide applications in practice. Recent methods solved the problem by training a shared encoder to map images into a 3D generator's latent space or by per-image latent code optimization and then edited images in the latent space. Despite their promising results near the input view, they still suffer from the 3D inconsistency of produced images at large camera poses and imprecise image attribute editing, like affecting unspecified attributes during editing. For more efficient image inversion, we train a shared encoder for all images. To alleviate 3D inconsistency at large camera poses, we propose two novel methods, an alternating training scheme and a multi-view identity loss, to maintain 3D consistency and subject identity. As for imprecise image editing, we attribute the problem to the gap between the latent space of real images and that of generated images. We compare the latent space and inversion manifold of GAN models and demonstrate that editing in the inversion manifold can achieve better results in both quantitative and qualitative evaluations. Extensive experiments show that our method produces more 3D consistent images and achieves more precise image editing than previous work. Source code and pretrained models can be found on our project page: https://mybabyyh.github.io/Preim3D/
updated: Thu Apr 20 2023 12:33:56 GMT+0000 (UTC)
published: Thu Apr 20 2023 12:33:56 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト