arXiv reaDer
人工的に生成された顔の人間による検査における AI ガイダンスの価値
The Value of AI Guidance in Human Examination of Synthetically-Generated Faces
顔画像の合成は、人間が本物の顔と合成によって生成された顔を効果的に区別できるレベルを超えて進歩しています。最近開発された合成顔画像検出器は、「人間よりも優れた」識別能力を誇り、特にモデルのトレーニング プロセス中に人間の知覚知性によって導かれるものです。この論文では、これらの人間が誘導する合成顔検出器が、人間の誘導なしでトレーニングされたモデルと比較して、合成画像検出のタスクで専門家ではない人間のオペレーターを支援できるかどうかを調査します。 1,560 人を超える被験者を対象に大規模な実験を実施し、画像が本物の顔を示しているか、人工的に生成された顔を示しているかを分類し、その決定を支持した領域に注釈を付けました。合計で、3,780 の一意の顔画像から 56,015 の注釈が収集されました。すべての被験者は、最初に AI のサポートなしでサンプルを調べ、次に (a) AI の決定 (「合成」または「本物」)、(b) モデルがその決定に対して顕著なとみなす場所を示すクラス活性化マップ、または (c) を与えられたサンプルを調べました。 AI の決定と AI の顕著性マップの両方。合成顔は、6 つの最新の Generative Adversarial Networks を使用して生成されました。この実験から得られた興味深い観察結果には次のようなものがあります。(1) 人間によるガイダンスでトレーニングされたモデルは、クロスエントロピー損失を使用して伝統的にトレーニングされたモデルと比較して、人間による顔画像の検査をより適切にサポートします。(2) 人間に提示されたバイナリ決定は、顕著性よりも優れたサポートを提供します。 (3) AI の精度を理解することは、人間が特定のモデルに対する信頼を高め、全体的な精度を高めるのに役立ちます。この研究は、機械によってサポートされている人間は、ランダムよりも優れた合成顔検出の精度を達成しますが、人間に AI サポートを提供し、信頼を構築する方法が、人間と AI のタンデムの高い有効性を決定する重要な要因であることを示しています。
Face image synthesis has progressed beyond the point at which humans can effectively distinguish authentic faces from synthetically generated ones. Recently developed synthetic face image detectors boast "better-than-human" discriminative ability, especially those guided by human perceptual intelligence during the model's training process. In this paper, we investigate whether these human-guided synthetic face detectors can assist non-expert human operators in the task of synthetic image detection when compared to models trained without human-guidance. We conducted a large-scale experiment with more than 1,560 subjects classifying whether an image shows an authentic or synthetically-generated face, and annotate regions that supported their decisions. In total, 56,015 annotations across 3,780 unique face images were collected. All subjects first examined samples without any AI support, followed by samples given (a) the AI's decision ("synthetic" or "authentic"), (b) class activation maps illustrating where the model deems salient for its decision, or (c) both the AI's decision and AI's saliency map. Synthetic faces were generated with six modern Generative Adversarial Networks. Interesting observations from this experiment include: (1) models trained with human-guidance offer better support to human examination of face images when compared to models trained traditionally using cross-entropy loss, (2) binary decisions presented to humans offers better support than saliency maps, (3) understanding the AI's accuracy helps humans to increase trust in a given model and thus increase their overall accuracy. This work demonstrates that although humans supported by machines achieve better-than-random accuracy of synthetic face detection, the ways of supplying humans with AI support and of building trust are key factors determining high effectiveness of the human-AI tandem.
updated: Mon Aug 22 2022 18:45:53 GMT+0000 (UTC)
published: Mon Aug 22 2022 18:45:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト