arXiv reaDer
JPGNet: Joint Predictive Filtering and Generative Network for Image Inpainting
画像修復は、破損した画像の欠落領域を復元し、復元結果を元の完全な画像と同じにすることを目的としています。これは、生成された画像の自然さやリアリズムを強調する一般的な生成タスクとは異なります。それにもかかわらず、既存の作品は通常、それを純粋な生成の問題と見なし、それに対処するために最先端の深い生成技術を採用しています。生成ネットワークは、主要な欠落部分を現実的なコンテンツで埋めることができますが、通常、ローカル構造を歪めたり、明らかなアーティファクトを導入したりします。この論文では、初めて、予測フィルタリングとディープジェネレーションという2つの問題を組み合わせた画像修復を定式化します。予測フィルタリングは、局所構造の保存とアーティファクトの除去には優れていますが、大きな欠落領域を完成させるには不十分です。深い生成ネットワークは、シーン全体の理解に基づいて多数の欠落したピクセルを埋めることができますが、元のピクセルと同じ詳細を復元することはほとんどありません。それぞれの利点を活用するために、予測フィルタリングと不確実性ネットワーク(PFUNet)、深層生成ネットワーク、不確実性認識融合ネットワーク(UAFNet)の3つのブランチを含む共同予測フィルタリングと生成ネットワーク(JPGNet)を提案します。 PFUNetは、入力画像に従ってフィルタリングベースの修復用のピクセル単位のカーネルを適応的に予測し、不確実性マップを出力できます。このマップは、ピクセルがフィルタリングまたは生成ネットワークによって処理される必要があることを示しています。これは、フィルタリングと生成結果のスマートな組み合わせのためにUAFNetにさらに供給されます。新しい修復フレームワークとしての私たちの方法は、既存の世代ベースの方法に利益をもたらす可能性があることに注意してください。 Dunhuang、Places2、CelebAの3つの公開データセットでメソッドを検証し、わずかに余分な時間コストをかけて、3つの最先端の生成メソッドを大幅に強化できることを示します。
Image inpainting aims to restore the missing regions of corrupted images and make the recovery result identical to the originally complete image, which is different from the common generative task emphasizing the naturalness or realism of generated images. Nevertheless, existing works usually regard it as a pure generation problem and employ cutting-edge deep generative techniques to address it. The generative networks can fill the main missing parts with realistic contents but usually distort the local structures or introduce obvious artifacts. In this paper, for the first time, we formulate image inpainting as a mix of two problems, predictive filtering and deep generation. Predictive filtering is good at preserving local structures and removing artifacts but falls short to complete the large missing regions. The deep generative network can fill the numerous missing pixels based on the understanding of the whole scene but hardly restores the details identical to the original ones. To make use of their respective advantages, we propose the joint predictive filtering and generative network (JPGNet) that contains three branches: predictive filtering & uncertainty network (PFUNet), deep generative network, and uncertainty-aware fusion network (UAFNet). The PFUNet can adaptively predict pixel-wise kernels for filtering-based inpainting according to the input image and output an uncertainty map. This map indicates the pixels should be processed by filtering or generative networks, which is further fed to the UAFNet for a smart combination between filtering and generative results. Note that, our method as a novel inpainting framework can benefit any existing generation-based methods. We validate our method on three public datasets, Dunhuang, Places2, and CelebA, and demonstrate that our method can enhance three state-of-the-art generative methods significantly with slightly extra time costs.
updated: Mon Oct 18 2021 07:27:03 GMT+0000 (UTC)
published: Fri Jul 09 2021 07:49:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト