arXiv reaDer
MVDiffusion: Correspondence-Aware Diffusion による全体的なマルチビュー画像の生成を可能にする
MVDiffusion: Enabling Holistic Multi-view Image Generation with Correspondence-Aware Diffusion
この論文では、ピクセル間の対応を与えられたテキストプロンプトから一貫したマルチビュー画像を生成するためのシンプルかつ効果的な方法である MVDiffusion を紹介します (例: パノラマからの透視クロップや、深度マップとポーズを与えられたマルチビュー画像)。反復的な画像のワーピングと修復に依存する従来の方法とは異なり、MVDiffusion はグローバルな認識ですべての画像を同時に生成し、一般的なエラー蓄積問題に効果的に対処します。その中核となる MVDiffusion は、事前トレーニングされたテキストから画像への拡散モデルと並行して透視画像を処理し、同時にビュー間の対話を容易にする新しい対応認識アテンション レイヤーを統合します。パノラマ生成の場合、MVDiffusion は 10,000 個のパノラマでのみトレーニングされていますが、任意のテキストに対して高解像度のフォトリアリスティックな画像を生成したり、1 つの透視画像を 360 度のビューに外挿したりできます。マルチビューの深度から画像を生成する場合、MVDiffusion はシーン メッシュのテクスチャリングに関する最先端のパフォーマンスを実証します。プロジェクト ページは https://mvdiffusion.github.io/ にあります。
This paper introduces MVDiffusion, a simple yet effective method for generating consistent multi-view images from text prompts given pixel-to-pixel correspondences (e.g., perspective crops from a panorama or multi-view images given depth maps and poses). Unlike prior methods that rely on iterative image warping and inpainting, MVDiffusion simultaneously generates all images with a global awareness, effectively addressing the prevalent error accumulation issue. At its core, MVDiffusion processes perspective images in parallel with a pre-trained text-to-image diffusion model, while integrating novel correspondence-aware attention layers to facilitate cross-view interactions. For panorama generation, while only trained with 10k panoramas, MVDiffusion is able to generate high-resolution photorealistic images for arbitrary texts or extrapolate one perspective image to a 360-degree view. For multi-view depth-to-image generation, MVDiffusion demonstrates state-of-the-art performance for texturing a scene mesh. The project page is at https://mvdiffusion.github.io/.
updated: Sat Dec 16 2023 01:39:22 GMT+0000 (UTC)
published: Mon Jul 03 2023 15:19:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト