arXiv reaDer
Heterogeneous Face Frontalization via Domain Agnostic Learning
深い畳み込みニューラルネットワーク(DCNN)の最近の進歩により、熱から可視への顔の合成とマッチングの問題で目覚ましいパフォーマンスの向上が見られました。ただし、現在のDCNNベースの合成モデルは、ポーズの変動が大きい熱面ではうまく機能しません。この問題に対処するために、モデルが熱プロファイルの顔画像を取得し、正面から見える顔を生成する、異種の顔の正面化方法が必要です。これは、ドメインが大きく、2つのモダリティ間のポーズの不一致が大きいため、非常に難しい問題です。バイオメトリクスと監視への応用にもかかわらず、この問題は文献では比較的未踏です。ドメインにとらわれない学習ベースの生成的敵対的ネットワーク(DAL-GAN)を提案します。これは、ポーズの変化を伴う熱面から可視ドメインの正面ビューを合成できます。 DAL-GANは、補助分類器を備えたジェネレーターと、より良い合成のためにローカルとグローバルの両方のテクスチャ識別をキャプチャする2つの識別器で構成されています。特徴ベクトルの識別を改善するデュアルパストレーニング戦略の助けを借りて、ジェネレータの潜在空間に対照的な制約が適用されます。最後に、多目的損失関数を使用して、クロスドメインの正面化を維持するIDを合成する際にネットワークをガイドします。広範な実験結果は、DAL-GANが他のベースライン方法と比較してより高品質の正面図を生成できることを示しています。
Recent advances in deep convolutional neural networks (DCNNs) have shown impressive performance improvements on thermal to visible face synthesis and matching problems. However, current DCNN-based synthesis models do not perform well on thermal faces with large pose variations. In order to deal with this problem, heterogeneous face frontalization methods are needed in which a model takes a thermal profile face image and generates a frontal visible face. This is an extremely difficult problem due to the large domain as well as large pose discrepancies between the two modalities. Despite its applications in biometrics and surveillance, this problem is relatively unexplored in the literature. We propose a domain agnostic learning-based generative adversarial network (DAL-GAN) which can synthesize frontal views in the visible domain from thermal faces with pose variations. DAL-GAN consists of a generator with an auxiliary classifier and two discriminators which capture both local and global texture discriminations for better synthesis. A contrastive constraint is enforced in the latent space of the generator with the help of a dual-path training strategy, which improves the feature vector discrimination. Finally, a multi-purpose loss function is utilized to guide the network in synthesizing identity preserving cross-domain frontalization. Extensive experimental results demonstrate that DAL-GAN can generate better quality frontal views compared to the other baseline methods.
updated: Sat Jul 17 2021 20:41:41 GMT+0000 (UTC)
published: Sat Jul 17 2021 20:41:41 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト