背景に似た画像パッチから欠落領域を推測する従来の背景修復手法とは異なり、顔の完成には、現実的な出力のためにターゲットオブジェクトに関するセマンティックな知識が必要です。現在の画像修復アプローチは、生成的敵対ネットワーク(GAN)を利用して、このようなセマンティックな理解を実現しています。ただし、敵対的学習では、セマンティック知識は暗黙的に学習されるため、常に適切なセマンティック理解が保証されるとは限りません。この作業では、トレーニングプロセスを明示的に誘導するために、完了に直面するための協調的敵対学習アプローチを提案します。私たちの方法は、コラボレーションGAN(collaGAN)と呼ばれる新しい生成フレームワークの下で定式化され、顔の完成、ランドマークの検出、セマンティックセグメンテーションを含む複数のタスクの協調学習を通じてターゲットオブジェクトのセマンティック理解を向上させます。 collaGANと共に、モデルが自動エンコードではなく修復をより重視するように、修復集中スキームも導入します。広範な実験により、提案された設計が実際に効果的であり、協調的な敵対的学習が顔のより良い特徴表現を提供することが示されています。他の生成イメージ修復モデルおよび単一タスク学習方法と比較して、当社のソリューションはすべてのタスクで優れたパフォーマンスを発揮します。
Unlike a conventional background inpainting approach that infers a missing area from image patches similar to the background, face completion requires semantic knowledge about the target object for realistic outputs. Current image inpainting approaches utilize generative adversarial networks (GANs) to achieve such semantic understanding. However, in adversarial learning, the semantic knowledge is learned implicitly and hence good semantic understanding is not always guaranteed. In this work, we propose a collaborative adversarial learning approach to face completion to explicitly induce the training process. Our method is formulated under a novel generative framework called collaborative GAN (collaGAN), which allows better semantic understanding of a target object through collaborative learning of multiple tasks including face completion, landmark detection, and semantic segmentation. Together with the collaGAN, we also introduce an inpainting concentrated scheme such that the model emphasizes more on inpainting instead of autoencoding. Extensive experiments show that the proposed designs are indeed effective and collaborative adversarial learning provides better feature representations of the faces. In comparison with other generative image inpainting models and single task learning methods, our solution produces superior performances on all tasks.