条件付き生成的敵対的ネットワークの多数のタスク固有のバリアントが、画像の補完のために開発されました。それでも、大規模な欠落領域を処理する場合、既存のすべてのアルゴリズムが失敗する傾向があるという重大な制限が残っています。この課題を克服するために、条件付きスタイル表現と確率的スタイル表現の両方の共変調を介して、画像条件付きと最近の変調された無条件生成アーキテクチャ間のギャップを埋める一般的な新しいアプローチを提案します。また、画像完成のための優れた定量的指標がないため、線形分離可能性を介して実際の画像と比較して、修復された画像の知覚忠実度を確実に測定する、新しいペア/アンペア開始識別スコア(P-IDS / U-IDS)を提案します。特徴空間で。実験は、自由形式の画像補完と画像から画像への変換への容易な一般化において、最先端の方法よりも品質と多様性の両方の点で優れたパフォーマンスを示しています。コードはhttps://github.com/zsyzzsoft/co-mod-ganで入手できます。
Numerous task-specific variants of conditional generative adversarial networks have been developed for image completion. Yet, a serious limitation remains that all existing algorithms tend to fail when handling large-scale missing regions. To overcome this challenge, we propose a generic new approach that bridges the gap between image-conditional and recent modulated unconditional generative architectures via co-modulation of both conditional and stochastic style representations. Also, due to the lack of good quantitative metrics for image completion, we propose the new Paired/Unpaired Inception Discriminative Score (P-IDS/U-IDS), which robustly measures the perceptual fidelity of inpainted images compared to real images via linear separability in a feature space. Experiments demonstrate superior performance in terms of both quality and diversity over state-of-the-art methods in free-form image completion and easy generalization to image-to-image translation. Code is available at https://github.com/zsyzzsoft/co-mod-gan.