arXiv reaDer
顔のサイクルの一貫性から顔の表現を学ぶ
Learning Facial Representations from the Cycle-consistency of Face
顔は、アイデンティティ、表現、ポーズ、顔のスタイリングなど、多くの側面で大きな変化を示します。したがって、特に監視されていない方法で、顔の画像からこれらの特性を解きほぐして抽出することは大きな課題です。この作品では、ラベルのない顔の画像から顔の表現を学習するための無料の監視信号として、顔の特徴のサイクルの一貫性を紹介します。学習は、顔の動きのサイクルの一貫性とアイデンティティのサイクルの一貫性の制約を重ね合わせることによって実現されます。顔の動きのサイクルの一貫性の主な考え方は、表情のある顔が与えられた場合、顔の動きを取り除くことでニュートラルな顔に表情を落とし、さらに再表情を実行して元の顔に再構築できるということです。アイデンティティサイクルの一貫性の主なアイデアは、機能の再正規化によって特定の中立的な顔からアイデンティティを奪うことによって平均顔に非アイデンティティを利用することと、平均顔に個人属性を追加することによって中立的な顔に再アイデンティティを利用することです。トレーニング時に、モデルは2つの異なる顔の表現を解きほぐして、サイクル整合性のある顔の再構成を実行するのに役立つことを学習します。テスト時には、顔の表情の認識や頭のポーズの回帰など、さまざまなタスクで顔の表現を評価するために線形プロトコルスキームを使用します。また、学習した顔の表現を、人物の認識、正面化、画像から画像への翻訳に直接適用することもできます。私たちの実験は、私たちのアプローチの結果が既存の方法の結果と競合することを示しており、解きほぐされた表現に埋め込まれた豊富でユニークな情報を示しています。コードはhttps://github.com/JiaRenChang/FaceCycleで入手できます。
Faces manifest large variations in many aspects, such as identity, expression, pose, and face styling. Therefore, it is a great challenge to disentangle and extract these characteristics from facial images, especially in an unsupervised manner. In this work, we introduce cycle-consistency in facial characteristics as free supervisory signal to learn facial representations from unlabeled facial images. The learning is realized by superimposing the facial motion cycle-consistency and identity cycle-consistency constraints. The main idea of the facial motion cycle-consistency is that, given a face with expression, we can perform de-expression to a neutral face via the removal of facial motion and further perform re-expression to reconstruct back to the original face. The main idea of the identity cycle-consistency is to exploit both de-identity into mean face by depriving the given neutral face of its identity via feature re-normalization and re-identity into neutral face by adding the personal attributes to the mean face. At training time, our model learns to disentangle two distinct facial representations to be useful for performing cycle-consistent face reconstruction. At test time, we use the linear protocol scheme for evaluating facial representations on various tasks, including facial expression recognition and head pose regression. We also can directly apply the learnt facial representations to person recognition, frontalization and image-to-image translation. Our experiments show that the results of our approach is competitive with those of existing methods, demonstrating the rich and unique information embedded in the disentangled representations. Code is available at https://github.com/JiaRenChang/FaceCycle .
updated: Sat Aug 07 2021 11:30:35 GMT+0000 (UTC)
published: Sat Aug 07 2021 11:30:35 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト