arXiv reaDer
Detection of Abnormal Behavior with Self-Supervised Gaze Estimation
最近のCOVID-19の発生により、多くのクラス、試験、および会議が非対面で実施されました。ただし、ビデオ会議ソリューションの基盤はまだ不十分です。そのため、この技術は重要な問題になっています。特に、これらの技術は非対面テストに不可欠であり、技術の普及が急務となっています。この論文では、これらの問題に備えて、視線推定を使用した単一のビデオ会議ソリューションを紹介します。視線は、人間の行動の分析などのタスクの重要な手がかりです。したがって、これまでで最も著名な方法の1つである深層学習を使用して、視線推定を解決するための多くの研究が提案されています。これらの視線推定方法を使用して、ビデオ会議参加者の異常な行動を検出します。私たちの貢献は次のとおりです。 i)視線推定法に最適なネットワークを見つけて適用し、自己監視法を適用して精度を向上させます。 ii)異常検出のために、新しい視線、頭のポーズなどの値を集約する新しいデータセットを提示します。iii)多層パーセプトロン(MLP)モデルで新しく作成されたデータをトレーニングして、深層学習に基づいて異常動作を検出します。実験を通じて、私たちの方法の堅牢性を示します。
Due to the recent outbreak of COVID-19, many classes, exams, and meetings have been conducted non-face-to-face. However, the foundation for video conferencing solutions is still insufficient. So this technology has become an important issue. In particular, these technologies are essential for non-face-to-face testing, and technology dissemination is urgent. In this paper, we present a single video conferencing solution using gaze estimation in preparation for these problems. Gaze is an important cue for the tasks such as analysis of human behavior. Hence, numerous studies have been proposed to solve gaze estimation using deep learning, which is one of the most prominent methods up to date. We use these gaze estimation methods to detect abnormal behavior of video conferencing participants. Our contribution is as follows. i) We find and apply the optimal network for the gaze estimation method and apply a self-supervised method to improve accuracy. ii) For anomaly detection, we present a new dataset that aggregates the values of a new gaze, head pose, etc. iii) We train newly created data on Multi Layer Perceptron (MLP) models to detect anomaly behavior based on deep learning. We demonstrate the robustness of our method through experiments.
updated: Wed Jul 14 2021 07:58:59 GMT+0000 (UTC)
published: Wed Jul 14 2021 07:58:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト