既知および未知の領域に同じ方法でフィルターを適用する通常の畳み込みレイヤーは、修復された画像に視覚的なアーティファクトを引き起こします。いくつかの研究は、畳み込みの出力の特徴の繰り込みでこの問題に取り組んでいます。ただし、これらのモデルは、機能の再正規化に大量の学習可能なパラメーターを使用するか、出力の確実性のバイナリ表現を想定しています。欠落している入力値を畳み込みに(層ごとに)代入することを提案します。学習された特徴の繰り込みとは対照的に、私たちの方法は効率的であり、最小限の数のパラメーターを導入します。さらに、画像修復の勾配ペナルティの修正と、敵対的損失のみを対象にトレーニングされた新しいGANアーキテクチャを提案します。 FDFデータセットの定量的評価は、修正された勾配ペナルティと代替畳み込みにより、生成された画質が大幅に向上することを反映しています。モデルを検証するために、CelebA-HQとPlaces2の現在の最先端技術との比較を示します。
A regular convolution layer applying a filter in the same way over known and unknown areas causes visual artifacts in the inpainted image. Several studies address this issue with feature re-normalization on the output of the convolution. However, these models use a significant amount of learnable parameters for feature re-normalization, or assume a binary representation of the certainty of an output. We propose (layer-wise) feature imputation of the missing input values to a convolution. In contrast to learned feature re-normalization, our method is efficient and introduces a minimal number of parameters. Furthermore, we propose a revised gradient penalty for image inpainting, and a novel GAN architecture trained exclusively on adversarial loss. Our quantitative evaluation on the FDF dataset reflects that our revised gradient penalty and alternative convolution improves generated image quality significantly. We present comparisons on CelebA-HQ and Places2 to current state-of-the-art to validate our model.