顔認識モデルは、個人を互いに区別できるようにするアイデンティティ固有の顔の特徴の抽象的なエンコーディングを含む低次元アイデンティティ ベクトルに顔画像を埋め込みます。完全なモデル アクセス (つまり、ブラック ボックス設定) なしで、事前にトレーニングされた顔認識モデルの潜在空間を反転するという困難なタスクに取り組みます。このタスクのために文献でさまざまな方法が提案されていますが、現実的な出力の欠如、長い推論時間、データセットと顔認識モデルのアクセシビリティに対する厳しい要件など、重大な欠点があります。ブラックボックス反転問題の分析を通じて、条件付き拡散モデルの損失が自然に発生し、アイデンティティ固有の損失がなくても逆分布から効果的にサンプリングできることを示します。アイデンティティ ノイズ除去拡散確率モデル (ID3PM) と名付けられた私たちの方法は、ノイズ除去拡散プロセスの確率的性質を利用して、さまざまな背景、照明、ポーズ、および表情を備えた高品質でアイデンティティを保持する顔画像を生成します。私たちは、定性的にも定量的にも、アイデンティティの保存と多様性の点で最先端のパフォーマンスを示しています。私たちの方法は、生成プロセスを直感的に制御し、競合する方法に共通する欠点のいずれにも悩まされない、最初のブラックボックス顔認識モデル反転方法です。
Face recognition models embed a face image into a low-dimensional identity vector containing abstract encodings of identity-specific facial features that allow individuals to be distinguished from one another. We tackle the challenging task of inverting the latent space of pre-trained face recognition models without full model access (i.e. black-box setting). A variety of methods have been proposed in literature for this task, but they have serious shortcomings such as a lack of realistic outputs, long inference times, and strong requirements for the data set and accessibility of the face recognition model. Through an analysis of the black-box inversion problem, we show that the conditional diffusion model loss naturally emerges and that we can effectively sample from the inverse distribution even without an identity-specific loss. Our method, named identity denoising diffusion probabilistic model (ID3PM), leverages the stochastic nature of the denoising diffusion process to produce high-quality, identity-preserving face images with various backgrounds, lighting, poses, and expressions. We demonstrate state-of-the-art performance in terms of identity preservation and diversity both qualitatively and quantitatively. Our method is the first black-box face recognition model inversion method that offers intuitive control over the generation process and does not suffer from any of the common shortcomings from competing methods.