arXiv reaDer
Shape Constrained Network for Eye Segmentation in the Wild
  目のセマンティックセグメンテーションは、長い間多くの生体認証アプリケーションで重要な前処理ステップでした。作品の大半は高解像度の目画像のみに焦点を当てていますが、野生の低品質画像から目を分割することはほとんど行われていません。しかし、これは特に興味深く、意味のあるトピックです。目は人の感情的な状態と精神的な幸福を伝える上で重要な役割を果たします。この作業では、この問題を解決するために2つの手順を実行します。(1)さまざまな解像度、照明条件、および頭のポーズの4461顔画像から8882のアイパッチを含む難しいアイセグメンテーションデータセットを収集して注釈を付けます。 (2)形状をセグメンテーションネットワークトレーニング手順に組み込む新しい目セグメンテーション手法、Shape Constrained Network(SCN)を開発します。具体的には、VAE-GANを使用してデータセットから形状を事前に学習し、事前にトレーニングされたエンコーダーとディスクリミネーターを活用してSegNetのトレーニングを正規化します。予測マスクの精度と品質を改善するために、SegNetの損失を3つの新しい損失(Union Intersection-over-Union(IoU)損失、形状弁別器損失、および形状埋め込み損失)に置き換えます。広範な実験により、本手法が平均IoU(mIoU)精度とセグメンテーションマスクの品質の観点から、最先端のセグメンテーションおよびランドマーク検出方法よりも優れていることが示されています。アイセグメンテーションデータベースは、 = 0で入手できます。
Semantic segmentation of eyes has long been a vital pre-processing step in many biometric applications. Majority of the works focus only on high resolution eye images, while little has been done to segment the eyes from low quality images in the wild. However, this is a particularly interesting and meaningful topic, as eyes play a crucial role in conveying the emotional state and mental well-being of a person. In this work, we take two steps toward solving this problem: (1) We collect and annotate a challenging eye segmentation dataset containing 8882 eye patches from 4461 facial images of different resolutions, illumination conditions and head poses; (2) We develop a novel eye segmentation method, Shape Constrained Network (SCN), that incorporates shape prior into the segmentation network training procedure. Specifically, we learn the shape prior from our dataset using VAE-GAN, and leverage the pre-trained encoder and discriminator to regularise the training of SegNet. To improve the accuracy and quality of predicted masks, we replace the loss of SegNet with three new losses: Intersection-over-Union (IoU) loss, shape discriminator loss and shape embedding loss. Extensive experiments shows that our method outperforms state-of-the-art segmentation and landmark detection methods in terms of mean IoU (mIoU) accuracy and the quality of segmentation masks. The eye segmentation database is available at
updated: Fri Oct 11 2019 16:21:55 GMT+0000 (UTC)
published: Fri Oct 11 2019 16:21:55 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト