Generative Adversarial Networks (GAN) と DeepFakes の開発により、AI によって合成された画像は、人間が実際の画像とほとんど区別できないほど高品質になりました。メディア フォレンジックでは、それらを正確に暴露するための検出器を開発することが不可欠です。既存の検出方法は、生成された画像の検出で高いパフォーマンスを示していますが、現実世界のシナリオでは一般化が不十分な傾向があり、通常、合成画像は未知のソース データを使用した目に見えないモデルで生成されます。この作業では、AI 合成画像検出の一般化能力を向上させるために、画像全体と有益なパッチからの情報を組み合わせることの重要性を強調します。具体的には、画像全体からのグローバルな空間情報と、新しいパッチ選択モジュールによって選択された複数のパッチからのローカルの有益な機能を組み合わせる 2 分岐モデルを設計します。グローバル機能とローカル機能を融合するために、マルチヘッドアテンションメカニズムがさらに利用されます。モデルを評価するために、さまざまなオブジェクトと解像度を持つ19のモデルによって合成された非常に多様なデータセットを収集します。実験結果は、生成された画像の検出における本手法の高精度と優れた一般化能力を示しています。コードは https://github.com/littlejuyan/FusingGlobalandLocal で入手できます。
With the development of the Generative Adversarial Networks (GANs) and DeepFakes, AI-synthesized images are now of such high quality that humans can hardly distinguish them from real images. It is imperative for media forensics to develop detectors to expose them accurately. Existing detection methods have shown high performance in generated images detection, but they tend to generalize poorly in the real-world scenarios, where the synthetic images are usually generated with unseen models using unknown source data. In this work, we emphasize the importance of combining information from the whole image and informative patches in improving the generalization ability of AI-synthesized image detection. Specifically, we design a two-branch model to combine global spatial information from the whole image and local informative features from multiple patches selected by a novel patch selection module. Multi-head attention mechanism is further utilized to fuse the global and local features. We collect a highly diverse dataset synthesized by 19 models with various objects and resolutions to evaluate our model. Experimental results demonstrate the high accuracy and good generalization ability of our method in detecting generated images. Our code is available at https://github.com/littlejuyan/FusingGlobalandLocal.