最近の画像修復方法は、大規模なトレーニングデータセットから利用可能な外部情報を探索できるディープラーニングの力により、有望な結果を示しています。ただし、多くの最先端の修復ネットワークは、テスト時に特定の入力画像で利用可能な内部情報を活用することにまだ制限があります。この問題を軽減するために、グラウンドトゥルースターゲット画像を使用せずに完全に事前トレーニングされた修復ネットワークのパラメータを適応させることができる、新規で効率的な自己監視微調整アルゴリズムを提示します。ネットワークアーキテクチャを変更せずに、指定された入力画像内の既存の自己相似パッチ(つまり、自己模範)を利用することにより、事前にトレーニングされた最先端の修復ネットワークのパラメータを更新し、修復品質を大幅に向上させますマージン。定性的および定量的な実験結果は、提案されたアルゴリズムの優位性を示しており、公開されているベンチマークデータセットで最先端の修復結果を達成しています。
Recent image inpainting methods have shown promising results due to the power of deep learning, which can explore external information available from the large training dataset. However, many state-of-the-art inpainting networks are still limited in exploiting internal information available in the given input image at test time. To mitigate this problem, we present a novel and efficient self-supervised fine-tuning algorithm that can adapt the parameters of fully pre-trained inpainting networks without using ground-truth target images. We update the parameters of the pre-trained state-of-the-art inpainting networks by utilizing existing self-similar patches (i.e., self-exemplars) within the given input image without changing the network architecture and improve the inpainting quality by a large margin. Qualitative and quantitative experimental results demonstrate the superiority of the proposed algorithm, and we achieve state-of-the-art inpainting results on publicly available benchmark datasets.