arXiv reaDer
DAD-3DHeads:単一の画像からの3Dヘッドアライメントのための大規模で高密度で正確かつ多様なデータセット
DAD-3DHeads: A Large-scale Dense, Accurate and Diverse Dataset for 3D Head Alignment from a Single Image
DAD-3DHeads、高密度で多様な大規模データセット、および野生の3D高密度ヘッドアライメントの堅牢なモデルを紹介します。これには、グラウンドトゥルーススキャンと比較して3Dの頭の形状を正確に表す3.5Kを超えるランドマークの注釈が含まれています。データセットでトレーニングされたデータ駆動型モデルDAD-3DNetは、形状、式、ポーズパラメータを学習し、FLAMEメッシュの3D再構成を実行します。このモデルには、複数の関連タスクの豊富な監視と共同トレーニングを活用するためのランドマーク予測ブランチも組み込まれています。実験的に、DAD-3DNetは、(i)AFLW2000-3DおよびBIWIでの3D頭部ポーズ推定、(ii)NoWおよびFengでの3D顔形状再構成、および(iii)の最先端モデルよりも優れているか、同等です。 DAD-3DHeadsデータセットでの3D高密度ヘッドアライメントと3Dランドマーク推定。最後に、カメラアングル、顔の表情、およびオクルージョンにおけるDAD-3DHeadsの多様性により、ベンチマークは、野生の一般化と分布シフトに対するロバスト性を研究することができます。データセットのウェブページはhttps://p.farm/research/dad-3dheadsです。
We present DAD-3DHeads, a dense and diverse large-scale dataset, and a robust model for 3D Dense Head Alignment in the wild. It contains annotations of over 3.5K landmarks that accurately represent 3D head shape compared to the ground-truth scans. The data-driven model, DAD-3DNet, trained on our dataset, learns shape, expression, and pose parameters, and performs 3D reconstruction of a FLAME mesh. The model also incorporates a landmark prediction branch to take advantage of rich supervision and co-training of multiple related tasks. Experimentally, DAD-3DNet outperforms or is comparable to the state-of-the-art models in (i) 3D Head Pose Estimation on AFLW2000-3D and BIWI, (ii) 3D Face Shape Reconstruction on NoW and Feng, and (iii) 3D Dense Head Alignment and 3D Landmarks Estimation on DAD-3DHeads dataset. Finally, the diversity of DAD-3DHeads in camera angles, facial expressions, and occlusions enables a benchmark to study in-the-wild generalization and robustness to distribution shifts. The dataset webpage is https://p.farm/research/dad-3dheads.
updated: Thu Apr 07 2022 18:40:51 GMT+0000 (UTC)
published: Thu Apr 07 2022 18:40:51 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト