近年、深層学習の出現により、顔認識は並外れた成功を収めています。ただし、これらの深い顔認識モデルの多くは、プロファイル面と比較して、正面面の処理ではるかに優れたパフォーマンスを発揮します。プロファイル面の処理におけるパフォーマンスの低下の主な理由は、プロファイル面の認識に役立つポーズ不変の深い表現を学習することが本質的に難しいことです。この論文では、プロファイル面ドメインが潜在特徴部分空間内の正面面ドメインとの潜在接続を持っていると仮定します。プロファイル面と正面面を共通の潜在部分空間に投影し、潜在ドメインで検証または取得を実行することにより、この潜在的な接続を活用しようとしています。結合された条件付き生成的敵対的ネットワーク(cpGAN)構造を活用して、潜在的な共通埋め込み部分空間内のプロファイルと正面画像の間の隠れた関係を見つけます。具体的には、cpGANフレームワークは、2つの条件付きGANベースのサブネットワークで構成されています。1つはフロントドメイン専用で、もう1つはプロファイルドメイン専用です。各サブネットワークは、共通の埋め込みフィーチャサブスペース内の2つのフィーチャドメイン間のペアワイズ相関を最大化する射影を見つける傾向があります。最先端と比較した私たちのアプローチの有効性は、CFP、CMU Multi-PIE、IJB-A、およびIJB-Cデータセットを使用して実証されています。さらに、プロファイルから正面の顔認識のために、結合畳み込みニューラルネットワーク(cpCNN)と敵対的識別ドメイン適応ネットワーク(ADDA)も実装しました。 cpCNNとADDAのパフォーマンスを評価し、提案されたcpGANと比較しました。最後に、VGGFace2データセットに含まれる入力プロファイル面から正面面を再構築するためのcpGANも評価しました。
In recent years, with the advent of deep-learning, face recognition has achieved exceptional success. However, many of these deep face recognition models perform much better in handling frontal faces compared to profile faces. The major reason for poor performance in handling of profile faces is that it is inherently difficult to learn pose-invariant deep representations that are useful for profile face recognition. In this paper, we hypothesize that the profile face domain possesses a latent connection with the frontal face domain in a latent feature subspace. We look to exploit this latent connection by projecting the profile faces and frontal faces into a common latent subspace and perform verification or retrieval in the latent domain. We leverage a coupled conditional generative adversarial network (cpGAN) structure to find the hidden relationship between the profile and frontal images in a latent common embedding subspace. Specifically, the cpGAN framework consists of two conditional GAN-based sub-networks, one dedicated to the frontal domain and the other dedicated to the profile domain. Each sub-network tends to find a projection that maximizes the pair-wise correlation between the two feature domains in a common embedding feature subspace. The efficacy of our approach compared with the state-of-the-art is demonstrated using the CFP, CMU Multi-PIE, IJB-A, and IJB-C datasets. Additionally, we have also implemented a coupled convolutional neural network (cpCNN) and an adversarial discriminative domain adaptation network (ADDA) for profile to frontal face recognition. We have evaluated the performance of cpCNN and ADDA and compared it with the proposed cpGAN. Finally, we have also evaluated our cpGAN for reconstruction of frontal faces from input profile faces contained in the VGGFace2 dataset.