arXiv reaDer
スタイルで取得:教師なし顔の特徴の転送と取得
Retrieve in Style: Unsupervised Facial Feature Transfer and Retrieval
実際の画像で顔の特徴を転送および取得するための教師なしフレームワークであるRetrievein Style(RIS)を紹介します。最近の研究は、StyleGAN潜在空間の解きほぐし特性を利用することにより、局所的な顔の特徴を転送する機能を示しています。 RISは、次の点で既存のアートを改善します。1)SoTAメソッドでは不可能であった、やりがいのある転送(つまり、髪の毛、ポーズ)を可能にする、より効果的な機能の解きほぐしを導入します。 2)画像ごとのハイパーパラメータ調整の必要性を排除し、画像の大規模なバッチでカタログを計算します。 3)解きほぐされた顔の特徴(例えば、目)を使用して、きめの細かい顔の検索を可能にする。私たちの知る限り、これはこの細かいレベルで顔画像を取得する最初の作業です。 4)実際の画像で堅牢で自然な編集を実演します。私たちの定性的および定量的分析は、RISが高忠実度の特徴転送と実際の画像の正確なきめ細かい検索の両方を達成することを示しています。また、RISの責任あるアプリケーションについても説明します。
We present Retrieve in Style (RIS), an unsupervised framework for facial feature transfer and retrieval on real images. Recent work shows capabilities of transferring local facial features by capitalizing on the disentanglement property of the StyleGAN latent space. RIS improves existing art on the following: 1) Introducing more effective feature disentanglement to allow for challenging transfers (ie, hair, pose) that were not shown possible in SoTA methods. 2) Eliminating the need for per-image hyperparameter tuning, and for computing a catalog over a large batch of images. 3) Enabling fine-grained face retrieval using disentangled facial features (eg, eyes). To our best knowledge, this is the first work to retrieve face images at this fine level. 4) Demonstrating robust, natural editing on real images. Our qualitative and quantitative analyses show RIS achieves both high-fidelity feature transfers and accurate fine-grained retrievals on real images. We also discuss the responsible applications of RIS.
updated: Tue Aug 24 2021 23:11:57 GMT+0000 (UTC)
published: Tue Jul 13 2021 17:31:34 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト