ディープニューラルネットワークの最近の成功により、顔認識で目覚ましい進歩が達成されました。ただし、顔認識のために大規模な実世界のトレーニングデータを収集することは、特にラベルのノイズとプライバシーの問題のために、困難であることが判明しています。一方、既存の顔認識データセットは通常、Web画像から収集され、属性(ポーズや表情など)に関する詳細な注釈がないため、顔認識に対するさまざまな属性の影響は十分に調査されていません。本論文では、合成顔画像、すなわちSynFaceを使用した顔認識における上記の問題に対処します。具体的には、最初に、合成顔画像と実際の顔画像でトレーニングされた最近の最先端の顔認識モデル間のパフォーマンスのギャップを調査します。次に、パフォーマンスギャップの背後にある根本的な原因を分析します。たとえば、クラス内のばらつきが少ないことや、合成画像と実際の顔画像の間のドメインギャップなどです。これに触発されて、アイデンティティミックスアップ(IM)とドメインミックスアップ(DM)を備えたSynFaceを考案し、上記のパフォーマンスギャップを緩和し、顔認識のための合成データの大きな可能性を示しています。さらに、制御可能な顔合成モデルを使用すると、ポーズ、表情、照明、IDの数、IDごとのサンプルなど、合成顔生成のさまざまな要素を簡単に管理できます。したがって、合成顔画像に対して体系的な経験的分析を実行して、顔認識に合成データを効果的に利用する方法に関する洞察を提供します。
With the recent success of deep neural networks, remarkable progress has been achieved on face recognition. However, collecting large-scale real-world training data for face recognition has turned out to be challenging, especially due to the label noise and privacy issues. Meanwhile, existing face recognition datasets are usually collected from web images, lacking detailed annotations on attributes (e.g., pose and expression), so the influences of different attributes on face recognition have been poorly investigated. In this paper, we address the above-mentioned issues in face recognition using synthetic face images, i.e., SynFace. Specifically, we first explore the performance gap between recent state-of-the-art face recognition models trained with synthetic and real face images. We then analyze the underlying causes behind the performance gap, e.g., the poor intra-class variations and the domain gap between synthetic and real face images. Inspired by this, we devise the SynFace with identity mixup (IM) and domain mixup (DM) to mitigate the above performance gap, demonstrating the great potentials of synthetic data for face recognition. Furthermore, with the controllable face synthesis model, we can easily manage different factors of synthetic face generation, including pose, expression, illumination, the number of identities, and samples per identity. Therefore, we also perform a systematically empirical analysis on synthetic face images to provide some insights on how to effectively utilize synthetic data for face recognition.