arXiv reaDer
SISL:スプライシングの検出とローカリゼーションのための自己監視画像署名学習
SISL:Self-Supervised Image Signature Learning for Splicing Detection and Localization
画像操作検出のための最近のアルゴリズムは、ほとんど排他的にディープネットワークモデルを使用しています。これらのアプローチでは、ネットワークをトレーニングするために、高密度のピクセル単位のグラウンドトゥルースマスク、カメラID、または画像メタデータのいずれかが必要です。一方では、無数の改ざんの可能性を表すトレーニングセットを構築することは実用的ではありません。一方、ソーシャルメディアプラットフォームや商用アプリケーションは、画像からメタデータだけでなくカメラIDも削除するように制約されることがよくあります。密なグラウンドトゥルースやカメラ/画像メタデータを使用せずに操作検出モデルをトレーニングするための自己監視アルゴリズムは、多くのフォレンジックアプリケーションに非常に役立ちます。この論文では、画像の周波数変換からスプライシング検出/ローカリゼーションモデルをトレーニングするための自己監視アプローチを提案します。スプライスされた領域を識別するために、私たちの深いネットワークは、(画像)自己整合性を強制することによって画像固有の署名をキャプチャするための表現を学習します。提案されたモデルが、ラベルやメタデータに依存することなく、標準データセットで複数の既存のメソッドと同等またはそれ以上のパフォーマンスを実現できることを実験的に示します。
Recent algorithms for image manipulation detection almost exclusively use deep network models. These approaches require either dense pixelwise groundtruth masks, camera ids, or image metadata to train the networks. On one hand, constructing a training set to represent the countless tampering possibilities is impractical. On the other hand, social media platforms or commercial applications are often constrained to remove camera ids as well as metadata from images. A self-supervised algorithm for training manipulation detection models without dense groundtruth or camera/image metadata would be extremely useful for many forensics applications. In this paper, we propose self-supervised approach for training splicing detection/localization models from frequency transforms of images. To identify the spliced regions, our deep network learns a representation to capture an image specific signature by enforcing (image) self consistency . We experimentally demonstrate that our proposed model can yield similar or better performances of multiple existing methods on standard datasets without relying on labels or metadata.
updated: Tue Mar 15 2022 12:26:29 GMT+0000 (UTC)
published: Tue Mar 15 2022 12:26:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト