arXiv reaDer
3DCaricShop:シングルビュー3D似顔絵顔再構成のためのデータセットとベースラインメソッド
3DCaricShop: A Dataset and A Baseline Method for Single-view 3D Caricature Face Reconstruction
似顔絵は、ユーモアや皮肉を伝えるために人間の顔の特徴を意図的に誇張した芸術的な表現です。ただし、2D似顔絵画像から3D似顔絵を再構築することは、主にデータが不足しているため、依然として困難な作業です。このギャップを埋めるために、プロのアーティストが手動で作成した2000の高品質で多様な3D似顔絵を含む最初の大規模な3D似顔絵データセットである3DCaricShopを導入することを提案します。 3DCaricShopは、ペアの2D似顔絵画像、カメラパラメータ、3D顔のランドマークなどの豊富な注釈も提供します。 3DCaricShopの利点を示すために、シングルビュー3D似顔絵再構成のための新しいベースラインアプローチを提示します。もっともらしい顔の変形による忠実な再構成を確実にするために、詳細が豊富な陰関数とパラメトリックメッシュ表現の良い端を接続することを提案します。特に、最初にテンプレートメッシュを暗黙的ジェネレーターの出力に登録し、登録結果を事前にトレーニングされたPCA空間に繰り返し投影して、アーティファクトと自己交差を解決します。非剛体レジストレーション中の大きな変形に対処するために、新しいビューコラボレーショングラフ畳み込みネットワーク(VCGCN)を提案して、正確な位置合わせのために暗黙のメッシュからキーポイントを抽出します。私たちの方法は、アニメーション対応の事前定義されたメッシュトポロジで忠実度の高い3D似顔絵を生成することができます。データベースの重要性と提案された方法の有効性を検証するために、3DCaricShopで広範な実験が行われました。
Caricature is an artistic representation that deliberately exaggerates the distinctive features of a human face to convey humor or sarcasm. However, reconstructing a 3D caricature from a 2D caricature image remains a challenging task, mostly due to the lack of data. We propose to fill this gap by introducing 3DCaricShop, the first large-scale 3D caricature dataset that contains 2000 high-quality diversified 3D caricatures manually crafted by professional artists. 3DCaricShop also provides rich annotations including a paired 2D caricature image, camera parameters and 3D facial landmarks. To demonstrate the advantage of 3DCaricShop, we present a novel baseline approach for single-view 3D caricature reconstruction. To ensure a faithful reconstruction with plausible face deformations, we propose to connect the good ends of the detailrich implicit functions and the parametric mesh representations. In particular, we first register a template mesh to the output of the implicit generator and iteratively project the registration result onto a pre-trained PCA space to resolve artifacts and self-intersections. To deal with the large deformation during non-rigid registration, we propose a novel view-collaborative graph convolution network (VCGCN) to extract key points from the implicit mesh for accurate alignment. Our method is able to generate highfidelity 3D caricature in a pre-defined mesh topology that is animation-ready. Extensive experiments have been conducted on 3DCaricShop to verify the significance of the database and the effectiveness of the proposed method.
updated: Mon Mar 15 2021 08:24:29 GMT+0000 (UTC)
published: Mon Mar 15 2021 08:24:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト