arXiv reaDer
ディープフェイク検出のためのブロック シャッフル学習
Block shuffling learning for Deepfake Detection
畳み込みニューラル ネットワーク (CNN) に基づくディープフェイク検出方法は、高い精度を実証しています。 blackしかし、これらの方法は、未知の偽造方法や、サイズ変更やぼかしなどの一般的な変換に直面すると、パフォーマンスが低下することが多く、その結果、トレーニング ドメインとテスト ドメインの間で差異が生じます。過剰適合として知られるこの現象は、重大な課題を引き起こします。この問題に対処するために、新しいブロック シャッフル正則化方法を提案します。まず、私たちのアプローチには、画像をブロックに分割し、ブロック内シャッフル手法とブロック間シャッフル手法の両方を適用することが含まれます。このプロセスは、異なる次元間での重みの共有を間接的に実現します。次に、シャッフル ノイズによって引き起こされる過学習問題を軽減するために、敵対的損失アルゴリズムを導入します。最後に、ブロックの空間レイアウトを復元して、それらの間の意味的な関連性をキャプチャします。広範な実験により、偽造顔検出における既存のアプローチを超える、提案した方法の有効性が検証されています。特に、私たちの方法は優れた一般化機能を示し、データセット間の評価や一般的な画像変換に対する堅牢性を示しています。特に、私たちの手法はさまざまな CNN モデルと簡単に統合できます。ソース コードは https://github.com/NoWindButRain/BlockShuffleLearningGithub で入手できます。
Deepfake detection methods based on convolutional neural networks (CNN) have demonstrated high accuracy. blackHowever, these methods often suffer from decreased performance when faced with unknown forgery methods and common transformations such as resizing and blurring, resulting in deviations between training and testing domains. This phenomenon, known as overfitting, poses a significant challenge. To address this issue, we propose a novel block shuffling regularization method. Firstly, our approach involves dividing the images into blocks and applying both intra-block and inter-block shuffling techniques. This process indirectly achieves weight-sharing across different dimensions. Secondly, we introduce an adversarial loss algorithm to mitigate the overfitting problem induced by the shuffling noise. Finally, we restore the spatial layout of the blocks to capture the semantic associations among them. Extensive experiments validate the effectiveness of our proposed method, which surpasses existing approaches in forgery face detection. Notably, our method exhibits excellent generalization capabilities, demonstrating robustness against cross-dataset evaluations and common image transformations. Especially our method can be easily integrated with various CNN models. Source code is available at https://github.com/NoWindButRain/BlockShuffleLearningGithub.
updated: Thu Jul 13 2023 09:13:40 GMT+0000 (UTC)
published: Sun Feb 06 2022 17:16:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト