柔軟で一貫性のある顔の位置合わせフレームワークであるLDDMM-Faceを革新的に提案します。その主な貢献は、微分同相写像で顔の形状を自然に埋め込む変形レイヤーです。ヒートマップまたは座標回帰を介して顔のランドマークを予測する代わりに、このタスクを微分同相写像の方法で定式化し、初期境界と真の境界の間の変形を一意にパラメーター化する運動量を予測してから、曲線と顔のランドマークをローカライズするためのランドマーク。 LDDMMは深いネットワークに組み込まれているため、LDDMM-Faceは、あいまいさのない顔のランドマークに一貫して注釈を付け、さまざまな注釈スキームを柔軟に処理できます。また、疎な注釈から密な注釈を予測することもできます。私たちの方法は、さまざまな顔の位置合わせネットワークに簡単に統合できます。 LDDMM-Faceは、300W、WFLW、HELEN、COFW-68の4つのベンチマークデータセットで広範囲に評価されています。 LDDMM-Faceは、従来のデータセット内および同じ注釈設定の最先端の方法と同等またはそれより優れていますが、弱く教師あり学習(部分的から完全)を処理する場合、優れたパフォーマンスで他とは一線を画します。ケース(たとえば、隠れた顔)、およびさまざまなトレーニングと予測のデータセット。さらに、LDDMM-Faceは、さまざまな注釈スキームを使用してデータセット全体を予測するという最も困難なタスクで有望な結果を示しています。
We innovatively propose a flexible and consistent face alignment framework, LDDMM-Face, the key contribution of which is a deformation layer that naturally embeds facial geometry in a diffeomorphic way. Instead of predicting facial landmarks via heatmap or coordinate regression, we formulate this task in a diffeomorphic registration manner and predict momenta that uniquely parameterize the deformation between initial boundary and true boundary, and then perform large deformation diffeomorphic metric mapping (LDDMM) simultaneously for curve and landmark to localize the facial landmarks. Due to the embedding of LDDMM into a deep network, LDDMM-Face can consistently annotate facial landmarks without ambiguity and flexibly handle various annotation schemes, and can even predict dense annotations from sparse ones. Our method can be easily integrated into various face alignment networks. We extensively evaluate LDDMM-Face on four benchmark datasets: 300W, WFLW, HELEN and COFW-68. LDDMM-Face is comparable or superior to state-of-the-art methods for traditional within-dataset and same-annotation settings, but truly distinguishes itself with outstanding performance when dealing with weakly-supervised learning (partial-to-full), challenging cases (e.g., occluded faces), and different training and prediction datasets. In addition, LDDMM-Face shows promising results on the most challenging task of predicting across datasets with different annotation schemes.