arXiv reaDer
弱監視下の目の近さの推定
Weakly-Supervised Degree of Eye-Closeness Estimation
  最近の技術の進歩に伴い、コンピューティングデバイスとの通信に役立つ非侵入型の方法を構築することに関心が高まっています。この点で、目からの正確な情報は、ユーザーとコンピューティングデバイス間の有望な入力媒体です。この論文では、目の近さの度合いを捉える手法を提案します。まぶたの開き具合を検出するための多くの方法が存在しますが、実世界のアプリケーションでは本質的に満足できる性能を発揮できません。目が開いているか閉じているかを推定するよりも、意味のある情報を抽出するには、目の状態の詳細な推定がより重要です。ただし、信頼性の高い眼球状態推定器を学習するには正確な注釈が必要であり、費用が非常に高くなります。この作業では、コンピューターグラフィックスレンダリングテクニックを介して生成され、さまざまなレベルの開眼度で自動的に注釈が付けられる合成顔画像を活用します。ただし、これらの合成されたトレーニングデータイメージには、実世界のデータからの領域シフトがあります。この問題を軽減するために、合成データセットからの正確な注釈を利用して、目の開き具合の正確な度合いを学習する弱教師あり方法と、ドメインシフトを制御するために弱くラベル付けされた(開いたまたは閉じた)実世界の目のデータセットを提案します。詳細な目開きと視線情報を備えた130万の合成顔画像のデータセットと、開閉注釈付きの21kの実世界画像を紹介します。データセットは、承認されるとオンラインでリリースされます。広範な実験により、提案されたアプローチの有効性が検証されます。
Following recent technological advances there is a growing interest in building non-intrusive methods that help us communicate with computing devices. In this regard, accurate information from eye is a promising input medium between a user and computing devices. In this paper we propose a method that captures the degree of eye closeness. Although many methods exist for detection of eyelid openness, they are inherently unable to satisfactorily perform in real world applications. Detailed eye state estimation is more important, in extracting meaningful information, than estimating whether eyes are open or closed. However, learning reliable eye state estimator requires accurate annotations which is cost prohibitive. In this work, we leverage synthetic face images which can be generated via computer graphics rendering techniques and automatically annotated with different levels of eye openness. These synthesized training data images, however, have a domain shift from real-world data. To alleviate this issue, we propose a weakly-supervised method which utilizes the accurate annotation from the synthetic data set, to learn accurate degree of eye openness, and the weakly labeled (open or closed) real world eye data set to control the domain shift. We introduce a data set of 1.3M synthetic face images with detail eye openness and eye gaze information, and 21k real-world images with open/closed annotation. The dataset will be released online upon acceptance. Extensive experiments validate the effectiveness of the proposed approach.
updated: Thu Oct 24 2019 00:14:28 GMT+0000 (UTC)
published: Thu Oct 24 2019 00:14:28 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト