外観ベースのモデルの最近の進歩により、まつげ、まぶた、カメラの配置による閉塞、角膜や眼鏡の環境反射などの困難なシナリオでの視線追跡パフォーマンスが向上していることが示されています。改善の主な理由は、目の部分(瞳孔、虹彩、および強膜領域)の正確で堅牢な識別です。多くの場合、精度の向上には、複雑で時間がかかる膨大なデータセットのラベル付けが犠牲になります。この作品は、ラベル付けされたデータセットが不足しているラベル付けされていない画像を利用することによって目の部分を識別するための2つの半教師あり学習フレームワークを提示します。これらのフレームワークを使用して、ドメイン固有の拡張と画像セグメンテーションのための新しい空間的に変化する変換を活用して、さまざまなテストケースでパフォーマンスが向上することを示します。たとえば、48個のラベル付き画像でトレーニングされたモデルの場合、これらのフレームワークは、ラベル付きデータセットのみでトレーニングされたベースラインモデルと比較して、0.38%と0.65%のセグメンテーションパフォーマンスの向上を達成しました。
Recent advances in appearance-based models have shown improved eye tracking performance in difficult scenarios like occlusion due to eyelashes, eyelids or camera placement, and environmental reflections on the cornea and glasses. The key reason for the improvement is the accurate and robust identification of eye parts (pupil, iris, and sclera regions). The improved accuracy often comes at the cost of labeling an enormous dataset, which is complex and time-consuming. This work presents two semi-supervised learning frameworks to identify eye-parts by taking advantage of unlabeled images where labeled datasets are scarce. With these frameworks, leveraging the domain-specific augmentation and novel spatially varying transformations for image segmentation, we show improved performance on various test cases. For instance, for a model trained on just 48 labeled images, these frameworks achieved an improvement of 0.38% and 0.65% in segmentation performance over the baseline model, which is trained only with the labeled dataset.