arXiv reaDer
REALY:3D顔再構成の評価を再考する
REALY: Rethinking the Evaluation of 3D Face Reconstruction
3D顔再構成の結果の評価は、通常、推定された3Dモデルとグラウンドトゥルーススキャンの間の厳密な形状の位置合わせに依存します。 2つの形状を異なる基準点に合わせると、評価結果に大きな影響を与える可能性があることがわかります。これは、3D顔再構成法を正確に診断および改善するのに困難をもたらします。この論文では、新しいベンチマークREALYを使用した新しい評価アプローチを提案します。これは、正確な顔のキーポイント、高品質の領域マスク、およびトポロジ整合性のあるメッシュを使用した100個のグローバルに位置合わせされた顔スキャンで構成されます。私たちのアプローチは、領域ごとの形状アライメントを実行し、形状エラーの計算中に、より正確な双方向の対応をもたらします。きめ細かい、領域ごとの評価結果は、最先端の3D顔再構成法のパフォーマンスに関する詳細な理解を提供します。たとえば、単一画像ベースの再構成法に関する実験では、DECAは鼻の領域で最高のパフォーマンスを発揮し、GANFitは頬の領域で最高のパフォーマンスを発揮することがわかりました。さらに、新しい高品質の3DMMベースであるHIFI3D ++は、REALYを構築して複数の3D顔データセットを整列および再トポロジ化するのと同じ手順を使用して、さらに派生します。 https://realy3dface.comで、REALY、HIFI3D ++、および新しい評価パイプラインをリリースします。
The evaluation of 3D face reconstruction results typically relies on a rigid shape alignment between the estimated 3D model and the ground-truth scan. We observe that aligning two shapes with different reference points can largely affect the evaluation results. This poses difficulties for precisely diagnosing and improving a 3D face reconstruction method. In this paper, we propose a novel evaluation approach with a new benchmark REALY, consists of 100 globally aligned face scans with accurate facial keypoints, high-quality region masks, and topology-consistent meshes. Our approach performs region-wise shape alignment and leads to more accurate, bidirectional correspondences during computing the shape errors. The fine-grained, region-wise evaluation results provide us detailed understandings about the performance of state-of-the-art 3D face reconstruction methods. For example, our experiments on single-image based reconstruction methods reveal that DECA performs the best on nose regions, while GANFit performs better on cheek regions. Besides, a new and high-quality 3DMM basis, HIFI3D++, is further derived using the same procedure as we construct REALY to align and retopologize several 3D face datasets. We will release REALY, HIFI3D++, and our new evaluation pipeline at https://realy3dface.com.
updated: Tue Jul 19 2022 16:12:49 GMT+0000 (UTC)
published: Fri Mar 18 2022 04:04:45 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト