arXiv reaDer
Retrieve in Style: Unsupervised Facial Feature Transfer and Retrieval
実際の画像でのきめ細かい顔の特徴の転送と検索のための教師なしフレームワークであるRetrievein Style(RIS)を紹介します。最近の研究は、StyleGAN潜在空間の解きほぐし特性を利用することにより、生成された画像上の顔の特徴のローカルセマンティック転送を可能にするカタログを学習できることを示しています。 RISは、次の点で既存のアートを改善します。1)機能のもつれを解き、SoTAメソッドでは不可能であることが示されていない困難な転送(つまり、髪とポーズ)を可能にします。 2)画像ごとのハイパーパラメータ調整の必要性を排除し、画像の大規模なバッチでカタログを計算する必要がなくなります。 3)提案された顔の特徴(例えば、目)を使用して顔の検索を可能にすることは、私たちの知る限り、きめ細かいレベルで顔の画像を検索する最初の作業です。 4)堅牢性と実際の画像への自然な適用。私たちの定性的および定量的分析は、RISが実際の画像で高忠実度の特徴転送と正確なきめ細かい検索の両方を達成することを示しています。 RISの責任あるアプリケーションについて説明します。
We present Retrieve in Style (RIS), an unsupervised framework for fine-grained facial feature transfer and retrieval on real images. Recent work shows that it is possible to learn a catalog that allows local semantic transfers of facial features on generated images by capitalizing on the disentanglement property of the StyleGAN latent space. RIS improves existing art on: 1) feature disentanglement and allows for challenging transfers (i.e., hair and pose) that were not shown possible in SoTA methods. 2) eliminating the need for per-image hyperparameter tuning, and for computing a catalog over a large batch of images. 3) enabling face retrieval using the proposed facial features (e.g., eyes), and to our best knowledge, is the first work to retrieve face images at the fine-grained level. 4) robustness and natural application to real images. Our qualitative and quantitative analyses show RIS achieves both high-fidelity feature transfers and accurate fine-grained retrievals on real images. We discuss the responsible application of RIS.
updated: Sat Jul 17 2021 08:56:15 GMT+0000 (UTC)
published: Tue Jul 13 2021 17:31:34 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト