画像固有の詳細(背景、外観、照明など)を適切に保存して属性編集を可能にする、新しい高忠実度の生成的敵対的ネットワーク(GAN)反転フレームワークを紹介します。最初に、GAN反転を不可逆データ圧縮問題として定式化し、レート-歪み-編集のトレードオフについて慎重に説明します。このトレードオフのために、以前の作品は、低ビットレートの潜在コードのみで説得力のある編集能力を維持しながら、忠実度の高い再構築を達成することができません。この作業では、再構成の参照として歪みマップを使用する歪み相談アプローチを提案します。歪みコンサルテーションインバージョン(DCI)では、歪みマップは最初に高レートの潜在マップに投影され、次にコンサルテーションフュージョンを介して基本的な低レートの潜在コードを(失われた)詳細で補完します。忠実度の高い編集を実現するために、自己監視型トレーニングスキームを備えた適応歪みアライメント(ADA)モジュールを提案します。顔と車の領域での広範な実験は、反転と編集品質の両方の点で明らかな改善を示しています。
We present a novel high-fidelity generative adversarial network (GAN) inversion framework that enables attribute editing with image-specific details well-preserved (e.g., background, appearance and illumination). We first formulate GAN inversion as a lossy data compression problem and carefully discuss the Rate-Distortion-Edit trade-off. Due to this trade-off, previous works fail to achieve high-fidelity reconstruction while keeping compelling editing ability with a low bit-rate latent code only. In this work, we propose a distortion consultation approach that employs the distortion map as a reference for reconstruction. In the distortion consultation inversion (DCI), the distortion map is first projected to a high-rate latent map, which then complements the basic low-rate latent code with (lost) details via consultation fusion. To achieve high-fidelity editing, we propose an adaptive distortion alignment (ADA) module with a self-supervised training scheme. Extensive experiments in the face and car domains show a clear improvement in terms of both inversion and editing quality.