arXiv reaDer
マルチオーダーマルチコンストレイントディープネットワークによるロバストな顔のランドマーク検出
Robust Facial Landmark Detection by Multi-order Multi-constraint Deep Networks
最近、ヒートマップ回帰が顔のランドマーク検出で広く調査され、驚くべきパフォーマンスが得られました。ただし、既存のヒートマップ回帰ベースの顔のランドマーク検出方法のほとんどは、高次の特徴の相関関係の調査を怠っています。これは、より代表的な特徴を学習し、形状の制約を強化するために非常に重要です。さらに、明示的なグローバル形状制約が最終的に予測されるランドマークに追加されていないため、精度が低下します。これらの問題に対処するために、この論文では、より強力な特徴相関と形状制約学習のためのマルチオーダーマルチ制約ディープネットワーク(MMDN)を提案します。具体的には、陰的多次相関幾何学認識(IMCG)モデルを提案して、より識別力のある表現のために多次空間相関と多次チャネル相関を導入します。さらに、明示的な確率ベースの境界適応回帰(EPBR)メソッドが開発され、グローバルな形状制約を強化し、予測された境界内の意味的に一貫したランドマークをさらに検索して、堅牢な顔のランドマークを検出します。提案されたMMDNが、より正確な境界適応ランドマークヒートマップを生成し、大きなポーズの変化と重いオクルージョンを持つ顔の予測されたランドマークへの形状制約を効果的に強化できることを示すのは興味深いことです。挑戦的なベンチマークデータセットに関する実験結果は、最先端の顔のランドマーク検出方法に対する当社のMMDNの優位性を示しています。コードはhttps://github.com/junwan2014/MMDN-masterで公開されています。
Recently, heatmap regression has been widely explored in facial landmark detection and obtained remarkable performance. However, most of the existing heatmap regression-based facial landmark detection methods neglect to explore the high-order feature correlations, which is very important to learn more representative features and enhance shape constraints. Moreover, no explicit global shape constraints have been added to the final predicted landmarks, which leads to a reduction in accuracy. To address these issues, in this paper, we propose a Multi-order Multi-constraint Deep Network (MMDN) for more powerful feature correlations and shape constraints learning. Specifically, an Implicit Multi-order Correlating Geometry-aware (IMCG) model is proposed to introduce the multi-order spatial correlations and multi-order channel correlations for more discriminative representations. Furthermore, an Explicit Probability-based Boundary-adaptive Regression (EPBR) method is developed to enhance the global shape constraints and further search the semantically consistent landmarks in the predicted boundary for robust facial landmark detection. It's interesting to show that the proposed MMDN can generate more accurate boundary-adaptive landmark heatmaps and effectively enhance shape constraints to the predicted landmarks for faces with large pose variations and heavy occlusions. Experimental results on challenging benchmark datasets demonstrate the superiority of our MMDN over state-of-the-art facial landmark detection methods. The code has been publicly available at https://github.com/junwan2014/MMDN-master.
updated: Thu Dec 10 2020 23:39:38 GMT+0000 (UTC)
published: Wed Dec 09 2020 09:11:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト