arXiv reaDer
野生でのリアルタイム瞬目検出に向けて:データセット、理論、および実践
Towards Real-time Eyeblink Detection in The Wild:Dataset,Theory and Practices
 効果的でリアルタイムの瞬目検出は、詐欺検出、運転疲労検出、顔のなりすましなどの広範囲のアプリケーションです。すでに多くの努力が払われていますが、それらのほとんどは瞬目検出問題に対処することに焦点を当てています比較的一貫した主題と環境設定を備えた、制約された屋内条件。それにもかかわらず、実用的なアプリケーションに向けて、野生での瞬目検出がより必要であり、より大きな課題があります。しかし、私たちの知る限り、これは以前に十分に研究されていません。この論文では、この研究トピックに光を当てます。野生のデータセット(つまり、HUST-LEBW)でラベル付けされた673の瞬目ビデオサンプル(つまり、381の陽性、および292の陰性)の瞬きが、私たちによって最初に確立されます。これらのサンプルは、人間の属性、人間のポーズ、照明条件、イメージング構成などの劇的な変化とともに、制約のない映画からキャプチャされます。次に、瞬目検出タスクを時空間パターン認識問題として定式化します。 SeetaFaceエンジンとKCFトラッカーをそれぞれ使用して人間の目を見つけて追跡した後、瞬目検証を実行するために、マルチスケール時間情報をキャプチャできる修正LSTMモデルを提案します。外観と動きの特性を同時に明らかにする特徴抽出アプローチも提案されています。 HUST-LEBWの実験により、このアプローチの優位性と効率性が明らかになりました。また、既存の瞬目検出方法では、野生では満足のいくパフォーマンスを達成できないことも検証します。
Effective and real-time eyeblink detection is of wide-range applications, such as deception detection, drive fatigue detection, face anti-spoofing, etc. Although numerous of efforts have already been paid, most of them focus on addressing the eyeblink detection problem under the constrained indoor conditions with the relative consistent subject and environment setup. Nevertheless, towards the practical applications eyeblink detection in the wild is more required, and of greater challenges. However, to our knowledge this has not been well studied before. In this paper, we shed the light to this research topic. A labelled eyeblink in the wild dataset (i.e., HUST-LEBW) of 673 eyeblink video samples (i.e., 381 positives, and 292 negatives) is first established by us. These samples are captured from the unconstrained movies, with the dramatic variation on human attribute, human pose, illumination condition, imaging configuration, etc. Then, we formulate eyeblink detection task as a spatial-temporal pattern recognition problem. After locating and tracking human eye using SeetaFace engine and KCF tracker respectively, a modified LSTM model able to capture the multi-scale temporal information is proposed to execute eyeblink verification. A feature extraction approach that reveals appearance and motion characteristics simultaneously is also proposed. The experiments on HUST-LEBW reveal the superiority and efficiency of our approach. It also verifies that, the existing eyeblink detection methods cannot achieve satisfactory performance in the wild.
updated: Wed Dec 18 2019 12:10:35 GMT+0000 (UTC)
published: Thu Feb 21 2019 07:15:19 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト