arXiv reaDer
表面パラメータ化と2Dセマンティックセグメンテーションネットワークによる3D顔解析
3D Face Parsing via Surface Parameterization and 2D Semantic Segmentation Network
顔の解析では、コンピューターの顔表現としてピクセル単位のセマンティックラベルが割り当てられます。これは、多くの高度な顔テクノロジーの基本的な部分です。 2D顔解析と比較して、3D顔解析は、より優れたパフォーマンスとさらなるアプリケーションを実現する可能性が高くなりますが、3Dメッシュデータの計算のために依然として困難です。最近の研究では、パフォーマンスはまだ制限されていますが、3D表面セグメンテーションにさまざまな方法が導入されています。本論文では、3D顔解析を達成するための「3D-2D-3D」戦略に基づく方法を提案する。空間情報とテクスチャ情報を含むトポロジカルディスクのような2D顔画像は、顔パラメータ化アルゴリズムを介してサンプリングされた3D顔データから変換され、CPFNetと呼ばれる特定の2Dネットワークが提案され、マルチで2Dパラメータ化された顔データのセマンティックセグメンテーションを実現します。スケールテクノロジーと機能の集約。次に、2Dセマンティック結果が3D顔データに逆に再マッピングされ、最終的に3D顔解析が実現されます。実験結果は、CPFNetと「3D-2D-3D」戦略の両方が、定性的および定量的比較の両方で、高品質の3D顔解析を実現し、最先端の2Dネットワークおよび3Dメソッドよりも優れていることを示しています。
Face parsing assigns pixel-wise semantic labels as the face representation for computers, which is the fundamental part of many advanced face technologies. Compared with 2D face parsing, 3D face parsing shows more potential to achieve better performance and further application, but it is still challenging due to 3D mesh data computation. Recent works introduced different methods for 3D surface segmentation, while the performance is still limited. In this paper, we propose a method based on the "3D-2D-3D" strategy to accomplish 3D face parsing. The topological disk-like 2D face image containing spatial and textural information is transformed from the sampled 3D face data through the face parameterization algorithm, and a specific 2D network called CPFNet is proposed to achieve the semantic segmentation of the 2D parameterized face data with multi-scale technologies and feature aggregation. The 2D semantic result is then inversely re-mapped to 3D face data, which finally achieves the 3D face parsing. Experimental results show that both CPFNet and the "3D-2D-3D" strategy accomplish high-quality 3D face parsing and outperform state-of-the-art 2D networks as well as 3D methods in both qualitative and quantitative comparisons.
updated: Sat Jun 18 2022 15:21:24 GMT+0000 (UTC)
published: Sat Jun 18 2022 15:21:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト