ソーシャルメディアでの不正な画像/ビデオの広範な使用に関する懸念は、そのような詐欺の正確な検出を必要とします。コミュニケーションにおける顔の表情の重要性は広く知られており、敵対的な攻撃はしばしば表情に関連する機能の操作に焦点を合わせています。したがって、顔の表情の操作を検出し、操作された領域をローカライズできる方法を開発することが重要です。この問題に対処するために、我々は、顔の表情認識と画像操作方法の密接な組み合わせを使用して、顔の表情の操作を検出することができるフレームワークを提案する。顔の表情認識フレームワークから抽出された特徴マップを追加することで、私たちの操作検出器は操作された領域をローカライズすることができます。表現操作が豊富なFace2Faceデータセットでは、最先端の方法と比較して、操作の分類とローカリゼーションの両方で3%を超える精度が達成されることを示しています。さらに、口の領域に対応する顔の表情が変更されたNeuralTexturesデータセットの結果は、操作の分類とローカリゼーションの両方で2%高い精度を示しています。式が操作されず、アイデンティティが変更された場合に、このメソッドが最先端のメソッドと同等に機能することを示します。これにより、アプローチの一般化が保証されます。
Concern regarding the wide-spread use of fraudulent images/videos in social media necessitates precise detection of such fraud. The importance of facial expressions in communication is widely known, and adversarial attacks often focus on manipulating the expression related features. Thus, it is important to develop methods that can detect manipulations in facial expressions, and localize the manipulated regions. To address this problem, we propose a framework that is able to detect manipulations in facial expression using a close combination of facial expression recognition and image manipulation methods. With the addition of feature maps extracted from the facial expression recognition framework, our manipulation detector is able to localize the manipulated region. We show that, on the Face2Face dataset, where there is abundant expression manipulation, our method achieves over 3% higher accuracy for both classification and localization of manipulations compared to state-of-the-art methods. In addition, results on the NeuralTextures dataset where the facial expressions corresponding to the mouth regions have been modified, show 2% higher accuracy in both classification and localization of manipulation. We demonstrate that the method performs at-par with the state-of-the-art methods in cases where the expression is not manipulated, but rather the identity is changed, thus ensuring generalizability of the approach.