ディープ イメージ インペインティングは、イメージ生成および処理アルゴリズムの最近の進歩により目覚ましい進歩を遂げました。修復アルゴリズムのパフォーマンスは、生成された構造とテクスチャによってより適切に判断できると主張しています。構造は、生成されたオブジェクトの境界または穴内の新しい幾何学的構造を指し、テクスチャは高周波の詳細、特に構造領域内に埋められた人工の繰り返しパターンを指します。より良い構造は通常、GAN ベースのジェネレーター ネットワークを粗から細かいものに変換することで得られると考えていますが、現在の繰り返しパターンは、最先端の高周波高速フーリエ畳み込み層を使用してより適切にモデル化できると考えています。この論文では、2つの設計の利点を組み合わせた新しい修復ネットワークを提案します。したがって、私たちのモデルは、単一のネットワークを使用した構造生成とテクスチャ合成の繰り返しの両方で、最先端のパフォーマンスに匹敵する優れた視覚的品質を実現します。広範な実験により、この方法の有効性が実証され、我々の結論は、修復ネットワークの将来の設計方向として、画像修復の品質、構造、およびテクスチャの 2 つの重要な要素をさらに強調しています。
Deep image inpainting has made impressive progress with recent advances in image generation and processing algorithms. We claim that the performance of inpainting algorithms can be better judged by the generated structures and textures. Structures refer to the generated object boundary or novel geometric structures within the hole, while texture refers to high-frequency details, especially man-made repeating patterns filled inside the structural regions. We believe that better structures are usually obtained from a coarse-to-fine GAN-based generator network while repeating patterns nowadays can be better modeled using state-of-the-art high-frequency fast fourier convolutional layers. In this paper, we propose a novel inpainting network combining the advantages of the two designs. Therefore, our model achieves a remarkable visual quality to match state-of-the-art performance in both structure generation and repeating texture synthesis using a single network. Extensive experiments demonstrate the effectiveness of the method, and our conclusions further highlight the two critical factors of image inpainting quality, structures, and textures, as the future design directions of inpainting networks.