今日では、高度な画像編集ツールと技術スキルにより、改ざんされた画像がより現実的に生成されます。これにより、画像フォレンジックシステムを簡単に回避でき、画像の信頼性の検証がより困難になります。この困難な問題に取り組むために、トランスフォーマーに触発された新しい画像偽造ローカリゼーション手法であるTransForensicsを紹介します。私たちのフレームワークの2つの主要なコンポーネントは、高密度の自己注意エンコーダーと高密度の補正モジュールです。前者は、グローバルコンテキストと、異なるスケールでのローカルパッチ間のすべてのペアワイズ相互作用をモデル化するためのものであり、後者は、隠れ層の透明性を向上させ、異なるブランチからの出力を修正するために使用されます。以前の従来の深層学習方法と比較して、TransForensicsは識別表現をキャプチャし、高品質のマスク予測を取得できるだけでなく、改ざんタイプやパッチシーケンスの順序によって制限されません。主なベンチマークで実験を行うことにより、TransForensicsが最先端の方法を大幅に上回っていることを示しています。
Nowadays advanced image editing tools and technical skills produce tampered images more realistically, which can easily evade image forensic systems and make authenticity verification of images more difficult. To tackle this challenging problem, we introduce TransForensics, a novel image forgery localization method inspired by Transformers. The two major components in our framework are dense self-attention encoders and dense correction modules. The former is to model global context and all pairwise interactions between local patches at different scales, while the latter is used for improving the transparency of the hidden layers and correcting the outputs from different branches. Compared to previous traditional and deep learning methods, TransForensics not only can capture discriminative representations and obtain high-quality mask predictions but is also not limited by tampering types and patch sequence orders. By conducting experiments on main benchmarks, we show that TransForensics outperforms the stateof-the-art methods by a large margin.