ハイステークスの状況で欺瞞を検出する自動化されたシステムは、医療、ソーシャルワーク、および法的な領域全体で社会の幸福を高めることができます。ビデオ内のハイステークス詐欺を検出するための既存のモデルは監視されていますが、モデルをトレーニングするためのラベル付きデータセットは、ほとんどの実際のアプリケーションで収集されることはめったにありません。この問題に対処するために、ハイステークスラベルを使用せずに、ビデオ内の現実世界のハイステークス詐欺を検出する最初のマルチモーダル教師なし転送学習アプローチを提案します。私たちのサブスペースアラインメント(SA)アプローチは、ラボで制御されたローステークスシナリオでの欺瞞の視聴覚表現を適応させて、現実世界のハイステークス状況での欺瞞を検出します。私たちの最高の教師なしSAモデルは、SAのないモデルよりも優れており、人間の能力よりも優れており、既存の多くの教師ありモデルと同等のパフォーマンスを発揮します。私たちの研究は、ラベル付けされた行動データが不足している現実世界のコンテキストで、ハイステークスの欺瞞やその他の社会的行動をモデル化するために、部分空間ベースの転移学習を導入する可能性を示しています。
Automated systems that detect deception in high-stakes situations can enhance societal well-being across medical, social work, and legal domains. Existing models for detecting high-stakes deception in videos have been supervised, but labeled datasets to train models can rarely be collected for most real-world applications. To address this problem, we propose the first multimodal unsupervised transfer learning approach that detects real-world, high-stakes deception in videos without using high-stakes labels. Our subspace-alignment (SA) approach adapts audio-visual representations of deception in lab-controlled low-stakes scenarios to detect deception in real-world, high-stakes situations. Our best unsupervised SA models outperform models without SA, outperform human ability, and perform comparably to a number of existing supervised models. Our research demonstrates the potential for introducing subspace-based transfer learning to model high-stakes deception and other social behaviors in real-world contexts with a scarcity of labeled behavioral data.