arXiv reaDer
3D写真の定型化:単一の画像から定型化された新しいビューを生成する方法を学ぶ
3D Photo Stylization: Learning to Generate Stylized Novel Views from a Single Image
ビジュアルコンテンツの作成は、モバイル写真やAR / VRでのアプリケーションを考えると、関心が急上昇しています。これまでのところ、2つの代表的なタスクとしてのスタイル転送と単一画像3D写真は独立して進化してきました。この論文では、この2つを結び付け、3D写真の定型化という難しい課題に取り組みます。つまり、任意のスタイルが与えられた単一の画像から定型化された斬新なビューを生成します。私たちの重要な直感は、このタスクのためにスタイル転送とビュー合成を共同でモデル化する必要があるということです。この目的のために、シーンの点群表現からスタイル化のためのジオメトリ対応コンテンツ機能を学習するディープモデルを提案し、ビュー全体で一貫性のある高品質のスタイル化された画像を生成します。さらに、2D画像のみを使用した学習を可能にする新しいトレーニングプロトコルを紹介します。広範な定性的および定量的研究を通じて私たちの方法の優位性を実証し、2D画像資産からの3Dコンテンツ作成に対する需要の高まりに照らして私たちの方法の主要なアプリケーションを紹介します。
Visual content creation has spurred a soaring interest given its applications in mobile photography and AR / VR. Style transfer and single-image 3D photography as two representative tasks have so far evolved independently. In this paper, we make a connection between the two, and address the challenging task of 3D photo stylization - generating stylized novel views from a single image given an arbitrary style. Our key intuition is that style transfer and view synthesis have to be jointly modeled for this task. To this end, we propose a deep model that learns geometry-aware content features for stylization from a point cloud representation of the scene, resulting in high-quality stylized images that are consistent across views. Further, we introduce a novel training protocol to enable the learning using only 2D images. We demonstrate the superiority of our method via extensive qualitative and quantitative studies, and showcase key applications of our method in light of the growing demand for 3D content creation from 2D image assets.
updated: Tue Nov 30 2021 23:27:10 GMT+0000 (UTC)
published: Tue Nov 30 2021 23:27:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト