ディープラーニング(DL)は、視覚的にもっともらしい結果を生み出す可能性のある画像修復の分野でその強力な機能を実証しています。一方、高度な画像修復ツールの悪意のある使用(たとえば、偽のニュースを報告するための主要なオブジェクトの削除)は、画像データの信頼性に対する脅威を増大させています。修復偽造と戦うために、この作業では、ピクセル精度で修復領域を検出するための新しいエンドツーエンドの一般化可能な画像修復検出ネットワーク(GIID-Net)を提案します。提案されたGIID-Netは、拡張ブロック、抽出ブロック、決定ブロックの3つのサブブロックで構成されています。具体的には、拡張ブロックは、階層的に組み合わされた特殊なレイヤーを使用して、修復トレースを拡張することを目的としています。 Neural Architecture Search(NAS)アルゴリズムによって自動的に設計された抽出ブロックは、実際の修復検出タスクの特徴を抽出することを目的としています。抽出された潜在的特徴をさらに最適化するために、グローバルおよびローカル注意モジュールを決定ブロックに統合します。グローバル注意は、グローバル特徴の類似性を測定することによってクラス内の差異を減らし、ローカル注意はローカル特徴の一貫性を強化します。 。さらに、GIID-Netの一般化可能性を徹底的に調査し、トレーニングデータが異なると一般化機能が大幅に異なる可能性があることを発見しました。最先端の競合他社と比較して、提案されたGIID-Netの優位性を検証するために、広範な実験結果が提示されています。私たちの結果は、共通のアーティファクトがさまざまな画像修復方法で共有されていることを示唆しています。最後に、この分野での将来の研究のために、10Kの画像ペアの公開修復データセットを構築します。
Deep learning (DL) has demonstrated its powerful capabilities in the field of image inpainting, which could produce visually plausible results. Meanwhile, the malicious use of advanced image inpainting tools (e.g. removing key objects to report fake news) has led to increasing threats to the reliability of image data. To fight against the inpainting forgeries, in this work, we propose a novel end-to-end Generalizable Image Inpainting Detection Network (GIID-Net), to detect the inpainted regions at pixel accuracy. The proposed GIID-Net consists of three sub-blocks: the enhancement block, the extraction block and the decision block. Specifically, the enhancement block aims to enhance the inpainting traces by using hierarchically combined special layers. The extraction block, automatically designed by Neural Architecture Search (NAS) algorithm, is targeted to extract features for the actual inpainting detection tasks. In order to further optimize the extracted latent features, we integrate global and local attention modules in the decision block, where the global attention reduces the intra-class differences by measuring the similarity of global features, while the local attention strengthens the consistency of local features. Furthermore, we thoroughly study the generalizability of our GIID-Net, and find that different training data could result in vastly different generalization capability. Extensive experimental results are presented to validate the superiority of the proposed GIID-Net, compared with the state-of-the-art competitors. Our results would suggest that common artifacts are shared across diverse image inpainting methods. Finally, we build a public inpainting dataset of 10K image pairs for the future research in this area.