既存のGAN反転方法は、反転されたコードが忠実度の高い再構築を実現するか、編集機能を保持できるというパラドックスに陥っています。そのうちの1つだけでは、実際の画像編集を実現することはできません。この論文では、連続した画像(たとえば、ビデオフレームまたは異なるポーズの同じ人物)を反転プロセスに導入することによって、このパラドックスを解決します。私たちのソリューションの背後にある理論的根拠は、連続する画像の連続性が固有の編集可能な方向につながるということです。この固有のプロパティは、2つの固有の目的で使用されます。1)反転されたコードのそれぞれが他のコードから意味的にアクセス可能であり、編集可能なドメインに固定されるように、ジョイント反転プロセスを正規化します。 2)各反転コードの忠実度を他の画像の補数で最大化できるように、画像間の一貫性を強化します。広範な実験は、私たちの代替案が、実際の画像データセットと合成データセットの両方で、再構成の忠実度と編集可能性の点で最先端の方法を大幅に上回っていることを示しています。さらに、私たちの方法は、ビデオベースのGAN反転の最初のサポートと、連続画像からの教師なしセマンティック転送の興味深いアプリケーションを提供します。ソースコードはhttps://github.com/Qingyang-Xu/InvertingGANs_with_ConsecutiveImgsにあります。
Existing GAN inversion methods are stuck in a paradox that the inverted codes can either achieve high-fidelity reconstruction, or retain the editing capability. Having only one of them clearly cannot realize real image editing. In this paper, we resolve this paradox by introducing consecutive images (e.g. , video frames or the same person with different poses) into the inversion process. The rationale behind our solution is that the continuity of consecutive images leads to inherent editable directions. This inborn property is used for two unique purposes: 1) regularizing the joint inversion process, such that each of the inverted code is semantically accessible from one of the other and fastened in a editable domain; 2) enforcing inter-image coherence, such that the fidelity of each inverted code can be maximized with the complement of other images. Extensive experiments demonstrate that our alternative significantly outperforms state-of-the-art methods in terms of reconstruction fidelity and editability on both the real image dataset and synthesis dataset. Furthermore, our method provides the first support of video-based GAN inversion, and an interesting application of unsupervised semantic transfer from consecutive images. Source code can be found at: https://github.com/Qingyang-Xu/InvertingGANs_with_ConsecutiveImgs.