arXiv reaDer
Vec2Face-v2: 顔認識の注意ベースのネットワークを介して、ブラックボックス機能から人間の顔を明らかにする
Vec2Face-v2: Unveil Human Faces from their Blackbox Features via Attention-based Network in Face Recognition
この作業では、ブラックボックスの顔認識エンジンから抽出された顔の特徴表現を考慮して、顔の再構築の問題を調査します。実際、エンジンからの抽象化された情報の制限により、実際には非常に困難な問題です。したがって、蒸留フレームワーク(DAB-GAN)でAttention-based Bijective Generative Adversarial Networksという名前の新しい方法を導入して、抽出された顔認識機能を考慮して被験者の顔を合成します。被写体の制約のない目に見えない顔の特徴があれば、DAB-GAN は被写体の顔を高解像度で再構築できます。 DAB-GAN メソッドには、新しく定義された Bijective Metrics Learning アプローチを使用した、新しい注意ベースの生成構造が含まれています。フレームワークは、画像再構成タスクの画像ドメインで距離測定とメトリック学習プロセスを直接採用できるように、全単射メトリックを導入することから始まります。ブラックボックスの顔認識エンジンからの情報は、グローバル蒸留プロセスを使用して最適に活用されます。次に、非常に堅牢なジェネレーターが ID 保存でリアルな顔を合成するための注意ベースのジェネレーターが提示されます。挑戦的な顔認識データベース、すなわち CelebA、LFW、AgeDB、CFP-FP でこの方法を評価し、一貫して最先端の結果を達成しました。 DAB-GAN の進歩は、画像のリアリズムと ID 保存特性の両方でも証明されています。
In this work, we investigate the problem of face reconstruction given a facial feature representation extracted from a blackbox face recognition engine. Indeed, it is very challenging problem in practice due to the limitations of abstracted information from the engine. We therefore introduce a new method named Attention-based Bijective Generative Adversarial Networks in a Distillation framework (DAB-GAN) to synthesize faces of a subject given his/her extracted face recognition features. Given any unconstrained unseen facial features of a subject, the DAB-GAN can reconstruct his/her faces in high definition. The DAB-GAN method includes a novel attention-based generative structure with the new defined Bijective Metrics Learning approach. The framework starts by introducing a bijective metric so that the distance measurement and metric learning process can be directly adopted in image domain for an image reconstruction task. The information from the blackbox face recognition engine will be optimally exploited using the global distillation process. Then an attention-based generator is presented for a highly robust generator to synthesize realistic faces with ID preservation. We have evaluated our method on the challenging face recognition databases, i.e. CelebA, LFW, AgeDB, CFP-FP, and consistently achieved the state-of-the-art results. The advancement of DAB-GAN is also proven on both image realism and ID preservation properties.
updated: Sun Sep 11 2022 19:14:21 GMT+0000 (UTC)
published: Sun Sep 11 2022 19:14:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト