壁画の修復とは、壁画の損傷や欠落した部分を修復して外観を復元することです。ほとんどの既存の画像修復方法は、ターゲット画像を唯一の入力として受け取り、損傷を直接修復して、視覚的にもっともらしい結果を生成する傾向があります。これらの方法は、人間の顔、布のテクスチャ、印刷されたテキストなどの特定のオブジェクトの修復または完成には高いパフォーマンスを発揮しますが、さまざまな主題の壁画、特に大きな損傷領域を含む壁画の修復には適していません。さらに、塗料の離散的な色のために、壁画の修復は、自然な画像の修復と比較して、明らかな色の偏りに悩まされる場合があります。この目的のために、この論文では、線画誘導プログレッシブ壁画修復法を提案します。修復プロセスを構造再構成と色補正の 2 つのステップに分割し、それぞれ構造再構成ネットワーク (SRN) と色補正ネットワーク (CCN) によって実行されます。構造の再構築では、大規模なコンテンツの信頼性と構造の安定性を保証するために、SRN によって線画が使用されます。色補正では、CCN は欠落しているピクセルに対してローカル色調整を行い、色の偏りやエッジ ジャンピングの悪影響を軽減します。提案されたアプローチは、現在の最先端の画像修復方法に対して評価されます。定性的および定量的な結果は、壁画画像の修復における提案された方法の優位性を示しています。コードとデータは https://github.com/qinnzou/mural-image-inpainting で入手できます。
Mural image inpainting refers to repairing the damage or missing areas in a mural image to restore the visual appearance. Most existing image-inpainting methods tend to take a target image as the only input and directly repair the damage to generate a visually plausible result. These methods obtain high performance in restoration or completion of some specific objects, e.g., human face, fabric texture, and printed texts, etc., however, are not suitable for repairing murals with varied subjects, especially for murals with large damaged areas. Moreover, due to the discrete colors in paints, mural inpainting may suffer from apparent color bias as compared to natural image inpainting. To this end, in this paper, we propose a line drawing guided progressive mural inpainting method. It divides the inpainting process into two steps: structure reconstruction and color correction, executed by a structure reconstruction network (SRN) and a color correction network (CCN), respectively. In the structure reconstruction, line drawings are used by SRN as a guarantee for large-scale content authenticity and structural stability. In the color correction, CCN operates a local color adjustment for missing pixels which reduces the negative effects of color bias and edge jumping. The proposed approach is evaluated against the current state-of-the-art image inpainting methods. Qualitative and quantitative results demonstrate the superiority of the proposed method in mural image inpainting. The codes and data are available at https://github.com/qinnzou/mural-image-inpainting.