画像内の改ざんされた領域を見つけることは、機械学習とコンピュータービジョンのホットな研究トピックです。多くの画像操作位置アルゴリズムが提案されていますが、それらのほとんどは異なる色空間のRGB画像にのみ焦点を当てており、潜在的な改ざんの手がかりを含む周波数情報はしばしば無視されます。この作業では、RGBストリーム、周波数ストリーム、および境界アーティファクトの場所を統合して探索する、一般的な画像操作のローカリゼーションのために、新しいエンドツーエンドの2ストリーム境界認識ネットワーク(TBNetと略記)を提案します。フレームワーク。具体的には、最初に適応周波数選択モジュール(AFS)を設計して、適切な周波数を適応的に選択し、一貫性のない統計をマイニングし、冗長な統計の干渉を排除します。次に、RGB機能と周波数機能を適応的に融合するための適応型クロスアテンション融合モジュール(ACF)が提案されます。最後に、境界アーティファクトロケーションネットワーク(BAL)は、パラメーターがACFの出力によって共同で更新される境界アーティファクトを特定するように設計されており、その結果はさらにデコーダーに送られます。したがって、RGBストリーム、周波数ストリーム、および境界アーティファクトロケーションネットワークのパラメータが共同で最適化され、それらの潜在的な補完関係が完全にマイニングされます。画像操作ローカリゼーションタスクの4つの公開ベンチマーク、つまりCASIA1.0、COVER、Carvalho、およびIn-The-Wildで実行された広範な実験の結果は、提案されたTBNetが最先端のジェネリックを大幅に上回ることができることを示しています。 MCCとF1の両方に関する画像操作のローカリゼーション方法。
Finding tampered regions in images is a hot research topic in machine learning and computer vision. Although many image manipulation location algorithms have been proposed, most of them only focus on the RGB images with different color spaces, and the frequency information that contains the potential tampering clues is often ignored. In this work, a novel end-to-end two-stream boundary-aware network (abbreviated as TBNet) is proposed for generic image manipulation localization in which the RGB stream, the frequency stream, and the boundary artifact location are explored in a unified framework. Specifically, we first design an adaptive frequency selection module (AFS) to adaptively select the appropriate frequency to mine inconsistent statistics and eliminate the interference of redundant statistics. Then, an adaptive cross-attention fusion module (ACF) is proposed to adaptively fuse the RGB feature and the frequency feature. Finally, the boundary artifact location network (BAL) is designed to locate the boundary artifacts for which the parameters are jointly updated by the outputs of the ACF, and its results are further fed into the decoder. Thus, the parameters of the RGB stream, the frequency stream, and the boundary artifact location network are jointly optimized, and their latent complementary relationships are fully mined. The results of extensive experiments performed on four public benchmarks of the image manipulation localization task, namely, CASIA1.0, COVER, Carvalho, and In-The-Wild, demonstrate that the proposed TBNet can significantly outperform state-of-the-art generic image manipulation localization methods in terms of both MCC and F1.