嘘発見は、人間の相互作用への影響を考えると、日常生活のすべての人にとって懸念事項と見なされています。したがって、人々は通常、対話者が言っていることと、顔を含む視覚的外観の両方に注意を払い、その人が真実を言っているかどうかを示す兆候を見つけようとします。自動嘘発見はこの嘘の特徴を理解するのに役立つかもしれませんが、現実的なシナリオでパフォーマンスを評価するための適切なデータセットが不足していることもあり、現在のシステムはまだかなり制限されています。この作業では、プレイヤーが嘘をつくことを奨励するカードゲーム中の複数の参加者の2D情報と3D情報の両方を含む、顔画像の注釈付きデータセットを収集しました。収集したデータセットを使用して、いくつかのタイプの機械学習ベースの嘘発見器を、一般化、個人固有、およびクロスドメイン実験の観点から評価しました。私たちの結果は、深層学習に基づくモデルが最高の精度を達成し、一般化タスクで最大57%、単一の参加者を扱う場合で63%に達することを示しています。最後に、クロスドメインの嘘発見タスクを処理する際の深層学習ベースの嘘発見器の制限についても強調します。
Lie detection is considered a concern for everyone in their day to day life given its impact on human interactions. Thus, people normally pay attention to both what their interlocutors are saying and also to their visual appearances, including faces, to try to find any signs that indicate whether the person is telling the truth or not. While automatic lie detection may help us to understand this lying characteristics, current systems are still fairly limited, partly due to lack of adequate datasets to evaluate their performance in realistic scenarios. In this work, we have collected an annotated dataset of facial images, comprising both 2D and 3D information of several participants during a card game that encourages players to lie. Using our collected dataset, We evaluated several types of machine learning-based lie detectors in terms of their generalization, person-specific and cross-domain experiments. Our results show that models based on deep learning achieve the best accuracy, reaching up to 57% for the generalization task and 63% when dealing with a single participant. Finally, we also highlight the limitation of the deep learning based lie detector when dealing with cross-domain lie detection tasks.