arXiv reaDer
モデルの焦点を改善すると、深層学習ベースの合成顔検出器のパフォーマンスが向上します
Improving Model's Focus Improves Performance of Deep Learning-Based Synthetic Face Detectors
深層学習ベースのモデルは、人間の知覚をトレーニング戦略に組み込むことによって「どこを見るべきか」が導かれた後、未知のデータ サンプルに対してより適切に一般化します。その方法でトレーニングされたモデルの顕著性のエントロピーは、人間の知覚知性を持たないモデルのトレーニングで計算された顕著性エントロピーと比較して低いという観察を行いました。したがって、質問: モデルのクラス アクティベーション マップのエントロピーを下げることによって、モデルのフォーカスをさらに増やすと、パフォーマンスがさらに向上しますか?この論文では、モデルの焦点を制御するいくつかのエントロピーベースの新しい損失関数コンポーネントを提案および評価し、そのような制御のレベルの全範囲をカバーし、なしからその「積極的な」最小化までカバーします。合成顔検出の問題を使用して、エントロピーを下げることによってモデルの焦点を改善すると、未知の生成モデルによってテスト サンプルが合成されるオープン セット シナリオでより優れたモデルが得られることを示します。また、モデルの損失関数が、通常の分類、モデルの焦点の低エントロピー、および人間が誘導する顕著性の 3 つの側面をブレンドするときに、最適なパフォーマンスが得られることも示します。
Deep learning-based models generalize better to unknown data samples after being guided "where to look" by incorporating human perception into training strategies. We made an observation that the entropy of the model's salience trained in that way is lower when compared to salience entropy computed for models training without human perceptual intelligence. Thus the question: does further increase of model's focus, by lowering the entropy of model's class activation map, help in further increasing the performance? In this paper we propose and evaluate several entropy-based new loss function components controlling the model's focus, covering the full range of the level of such control, from none to its "aggressive" minimization. We show, using a problem of synthetic face detection, that improving the model's focus, through lowering entropy, leads to models that perform better in an open-set scenario, in which the test samples are synthesized by unknown generative models. We also show that optimal performance is obtained when the model's loss function blends three aspects: regular classification, low-entropy of the model's focus, and human-guided saliency.
updated: Wed Mar 01 2023 20:39:46 GMT+0000 (UTC)
published: Wed Mar 01 2023 20:39:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト