この作業では、DefakeHopに基づいて、DefakeHop++と呼ばれる拡張された軽量のDeepfake検出器が提案されています。改善点は2つの領域にあります。まず、DefakeHopは3つの顔の領域(つまり、2つの目と口)を調べますが、DefakeHop ++には、より広い範囲をカバーするためにさらに8つのランドマークが含まれています。第2に、判別特徴の選択では、DefakeHopは教師なしアプローチを使用しますが、DefakeHop ++は、判別特徴テスト(DFT)と呼ばれる監視付きのより効果的なアプローチを採用します。 DefakeHop ++では、豊富な空間的およびスペクトル的特徴が最初に顔の領域とランドマークから自動的に導出されます。次に、DFTを使用して、分類器トレーニング用の判別特徴のサブセットを選択します。 MobileNet v3(モバイルアプリケーションを対象とした150万パラメーターの軽量CNNモデル)と比較すると、DefakeHop ++には238Kパラメーターのモデルがあり、これはMobileNet v3の16%です。さらに、DefakeHop ++は、監視が弱い設定でのDeepfake画像検出パフォーマンスにおいてMobileNetv3よりも優れています。
On the basis of DefakeHop, an enhanced lightweight Deepfake detector called DefakeHop++ is proposed in this work. The improvements lie in two areas. First, DefakeHop examines three facial regions (i.e., two eyes and mouth) while DefakeHop++ includes eight more landmarks for broader coverage. Second, for discriminant features selection, DefakeHop uses an unsupervised approach while DefakeHop++ adopts a more effective approach with supervision, called the Discriminant Feature Test (DFT). In DefakeHop++, rich spatial and spectral features are first derived from facial regions and landmarks automatically. Then, DFT is used to select a subset of discriminant features for classifier training. As compared with MobileNet v3 (a lightweight CNN model of 1.5M parameters targeting at mobile applications), DefakeHop++ has a model of 238K parameters, which is 16% of MobileNet v3. Furthermore, DefakeHop++ outperforms MobileNet v3 in Deepfake image detection performance in a weakly-supervised setting.