arXiv reaDer
マルチモーダル教師なし欺瞞検出のための影響認識ディープビリーフネットワーク表現
Affect-Aware Deep Belief Network Representations for Multimodal Unsupervised Deception Detection
欺瞞の社会的行動を検出する自動化されたシステムは、医療、ソーシャルワーク、および法的領域全体で人間の幸福を高めることができます。監視ありの欺瞞検出モデルをトレーニングするためのラベル付きデータセットは、実際のハイステークスコンテキストで収集されることはめったにありません。この課題に対処するために、ラベルを必要とせずに、ビデオ内の現実世界のハイステークス詐欺を検出するための最初の教師なしアプローチを提案します。この論文では、感情を意識した教師なしディープビリーフネットワーク(DBN)が、欺瞞的で真実の行動の識別表現を学習するための新しいアプローチを紹介します。感情と欺瞞を結びつける心理学理論を利用して、顔の価数、顔の覚醒、音声、視覚的特徴について訓練された単峰性および多峰性のDBNベースのアプローチを実験しました。 DBNモデルをトレーニングする機能として顔の感情を使用することに加えて、視聴覚表現のアライナーとして顔の感情を使用するDBNトレーニング手順も紹介します。教師なしガウス混合モデルクラスタリングを使用して分類実験を実施し、アプローチを評価しました。私たちの最良の教師なしアプローチ(顔の価数と視覚的特徴についてトレーニング済み)は、80%のAUCを達成し、人間の能力を上回り、完全に教師ありのモデルと同等のパフォーマンスを発揮しました。私たちの結果は、野生の欺瞞やその他の社会的行動を検出するための、監督されていない、感情を意識した計算アプローチに関する将来の作業を動機付けます。
Automated systems that detect the social behavior of deception can enhance human well-being across medical, social work, and legal domains. Labeled datasets to train supervised deception detection models can rarely be collected for real-world, high-stakes contexts. To address this challenge, we propose the first unsupervised approach for detecting real-world, high-stakes deception in videos without requiring labels. This paper presents our novel approach for affect-aware unsupervised Deep Belief Networks (DBN) to learn discriminative representations of deceptive and truthful behavior. Drawing on psychology theories that link affect and deception, we experimented with unimodal and multimodal DBN-based approaches trained on facial valence, facial arousal, audio, and visual features. In addition to using facial affect as a feature on which DBN models are trained, we also introduce a DBN training procedure that uses facial affect as an aligner of audio-visual representations. We conducted classification experiments with unsupervised Gaussian Mixture Model clustering to evaluate our approaches. Our best unsupervised approach (trained on facial valence and visual features) achieved an AUC of 80%, outperforming human ability and performing comparably to fully-supervised models. Our results motivate future work on unsupervised, affect-aware computational approaches for detecting deception and other social behaviors in the wild.
updated: Mon Nov 08 2021 19:45:42 GMT+0000 (UTC)
published: Tue Aug 17 2021 22:07:26 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト