画像の修復では、以前の方法の畳み込みニューラルネットワーク(CNN)は、有効なピクセルと穴を区別なく処理する標準の畳み込み演算子を採用することがよくあります。結果として、それらは不規則な穴の取り扱いに制限があり、色の不一致でぼやけた塗装結果を生み出す傾向があります。部分畳み込み(PConv)は、有効なピクセルのみを条件としてマスクされた畳み込みと機能の再正規化を実行することでこの問題に対処しますが、マスクの更新は手作りであり、画像の構造情報とは無関係です。この論文では、いくつかの明確なメリットを持つ不規則な穴の画像修復を改善するためのエッジガイド学習可能な双方向注意マップ(Edge-LBAM)を提示します。ハード0-1マスクを使用する代わりに、学習可能なアテンションマップモジュールが導入され、特徴の再正規化とマスクの更新をエンドツーエンドで学習します。学習可能な逆注意マップは、すべてのピクセルを再構築するのではなく、未知のピクセルを埋めることに重点を置くために、デコーダーでさらに提案されます。塗りつぶしの順序は結果を修復するために重要であり、エグザンプラベースの方法の画像構造に大きく依存することに動機付けられて、コヒーレントエッジを予測するためのマルチスケールエッジ補完ネットワークをさらに提案します。 Edge-LBAMメソッドには、予測エッジによってガイドされる構造認識マスク更新や、特徴の再正規化のためにマスクによって生成されたアテンションマップなど、2つの手順が含まれています。広範な実験により、Edge-LBAMはコヒーレントな画像構造の生成と色の防止に効果的であることが示されています。不一致とぼやけ、そして定性的な測定基準と視覚的品質の点で最先端の方法に対して有利に機能します。
For image inpainting, the convolutional neural networks (CNN) in previous methods often adopt standard convolutional operator, which treats valid pixels and holes indistinguishably. As a result, they are limited in handling irregular holes and tend to produce color-discrepant and blurry inpainting result. Partial convolution (PConv) copes with this issue by conducting masked convolution and feature re-normalization conditioned only on valid pixels, but the mask-updating is handcrafted and independent with image structural information. In this paper, we present an edge-guided learnable bidirectional attention map (Edge-LBAM) for improving image inpainting of irregular holes with several distinct merits. Instead of using a hard 0-1 mask, a learnable attention map module is introduced for learning feature re-normalization and mask-updating in an end-to-end manner. Learnable reverse attention maps are further proposed in the decoder for emphasizing on filling in unknown pixels instead of reconstructing all pixels. Motivated by that the filling-in order is crucial to inpainting results and largely depends on image structures in exemplar-based methods, we further suggest a multi-scale edge completion network to predict coherent edges. Our Edge-LBAM method contains dual procedures,including structure-aware mask-updating guided by predict edges and attention maps generated by masks for feature re-normalization.Extensive experiments show that our Edge-LBAM is effective in generating coherent image structures and preventing color discrepancy and blurriness, and performs favorably against the state-of-the-art methods in terms of qualitative metrics and visual quality.