arXiv reaDer
条件付き顔編集のための適応型非線形潜在変換
Adaptive Nonlinear Latent Transformation for Conditional Face Editing
顔編集のための最近の作品は、通常、線形のセマンティック方向を介して StyleGAN の潜在空間を操作します。ただし、これらは通常、顔属性のもつれに悩まされ、最適な編集強度を調整する必要があり、強力な監視信号を持つバイナリ属性に限定されます。この論文は、AdaTrans と呼ばれる、もつれを解いた条件付きの顔編集のための新しい適応非線形潜在変換を提案します。具体的には、AdaTrans は操作プロセスをいくつかの細かいステップに分割します。つまり、各ステップの方向とサイズは、顔の属性と潜在コードの両方に基づいて条件付けされます。このように、AdaTrans は、他の属性を変更せずに面をターゲット属性に操作するための適応非線形変換軌跡を記述します。次に、AdaTrans は、事前定義された密度モデルを利用して、変換された潜在コードの可能性を最大化することで、潜在コードの分布における学習された軌跡を制限します。さらに、属性間のもつれを排除するための相互情報フレームワークの下でのもつれのない学習戦略も提案します。これにより、ラベル付きデータの必要性がさらに緩和されます。その結果、AdaTrans は、もつれの解除、非バイナリ属性による柔軟性、および高い忠実度の利点を備えた、制御可能な顔編集を可能にします。さまざまな顔の属性に関する広範な実験結果は、特に年齢差が大きくラベル付けされた例がほとんどない最も困難なシナリオにおいて、既存の最先端の方法よりも提案された AdaTrans の定性的および定量的な有効性を実証しています。ソース コードは https://github.com/Hzzone/AdaTrans で入手できます。
Recent works for face editing usually manipulate the latent space of StyleGAN via the linear semantic directions. However, they usually suffer from the entanglement of facial attributes, need to tune the optimal editing strength, and are limited to binary attributes with strong supervision signals. This paper proposes a novel adaptive nonlinear latent transformation for disentangled and conditional face editing, termed AdaTrans. Specifically, our AdaTrans divides the manipulation process into several finer steps; i.e., the direction and size at each step are conditioned on both the facial attributes and the latent codes. In this way, AdaTrans describes an adaptive nonlinear transformation trajectory to manipulate the faces into target attributes while keeping other attributes unchanged. Then, AdaTrans leverages a predefined density model to constrain the learned trajectory in the distribution of latent codes by maximizing the likelihood of transformed latent code. Moreover, we also propose a disentangled learning strategy under a mutual information framework to eliminate the entanglement among attributes, which can further relax the need for labeled data. Consequently, AdaTrans enables a controllable face editing with the advantages of disentanglement, flexibility with non-binary attributes, and high fidelity. Extensive experimental results on various facial attributes demonstrate the qualitative and quantitative effectiveness of the proposed AdaTrans over existing state-of-the-art methods, especially in the most challenging scenarios with a large age gap and few labeled examples. The source code is available at https://github.com/Hzzone/AdaTrans.
updated: Sat Jul 15 2023 12:36:50 GMT+0000 (UTC)
published: Sat Jul 15 2023 12:36:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト