arXiv reaDer
変形可能な形状モデルを3Dランドマークにロバストに適合させることに基づく顔の正面化
Face Frontalization Based on Robustly Fitting a Deformable Shape Model to 3D Landmarks
顔の正面化は、正面から見た顔を任意に見た顔から合成することで構成されます。この論文の主な貢献は、ピクセル間のワーピングを可能にする堅牢な顔の位置合わせ方法です。このメソッドは、2つの3Dポイントセット(任意に表示された面から抽出された3Dランドマークのセット、および正面によってパラメータ化された3Dランドマークのセット)間の剛体変換(スケール、回転、および平行移動)と非剛体変形を同時に推定します。 -変形可能な顔モデルを表示しました。提案された方法の重要なメリットは、ノイズ(小さな摂動)と外れ値(大きなエラー)の両方に対処できることです。一般化されたスチューデントのt確率分布関数を使用して、インライアとアウトライアをモデル化することを提案します。これは、データの非ガウス誤差の影響を受けない裾の重い分布です。 (i)剛体パラメーター、(ii)変形パラメーター、および(iii)スチューデントt分布パラメーターの推定を交互に行う、関連する期待値最大化(EM)アルゴリズムについて詳しく説明します。また、正面化のパフォーマンスを評価するために、正面化された顔と対応するグラウンドトゥルースの正面から見た顔との間のゼロ平均正規化相互相関を使用することを提案します。この目的のために、プロファイルビューと正面ビューの顔のペアを含むデータセットを使用します。この評価は、画像間の直接比較に基づいており、顔認識に対する正面化の影響の分析に基づく間接評価とは対照的です。
Face frontalization consists of synthesizing a frontally-viewed face from an arbitrarily-viewed one. The main contribution of this paper is a robust face alignment method that enables pixel-to-pixel warping. The method simultaneously estimates the rigid transformation (scale, rotation, and translation) and the non-rigid deformation between two 3D point sets: a set of 3D landmarks extracted from an arbitrary-viewed face, and a set of 3D landmarks parameterized by a frontally-viewed deformable face model. An important merit of the proposed method is its ability to deal both with noise (small perturbations) and with outliers (large errors). We propose to model inliers and outliers with the generalized Student's t-probability distribution function, a heavy-tailed distribution that is immune to non-Gaussian errors in the data. We describe in detail the associated expectation-maximization (EM) algorithm that alternates between the estimation of (i) the rigid parameters, (ii) the deformation parameters, and (iii) the Student-t distribution parameters. We also propose to use the zero-mean normalized cross-correlation, between a frontalized face and the corresponding ground-truth frontally-viewed face, to evaluate the performance of frontalization. To this end, we use a dataset that contains pairs of profile-viewed and frontally-viewed faces. This evaluation, based on direct image-to-image comparison, stands in contrast with indirect evaluation, based on analyzing the effect of frontalization on face recognition.
updated: Wed Mar 10 2021 10:45:41 GMT+0000 (UTC)
published: Mon Oct 26 2020 15:52:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト