聴覚障害のあるリスナーは、通常、補聴器(HA)を使用している場合でも、マルチトーカーシーンでターゲットトーカーに参加するのに問題があります。この問題は、リスナーがターゲットを注視する必要がある視線ステアリングHAで解決できます。頭が回転する状況では、視線はサッカードと頭の回転の両方の動作の影響を受けます。ただし、リスナーの視線戦略が異なり、2つの動作の測定値が適切に組み合わされていないため、既存の視線推定方法は確実に機能しませんでした。その上、既存の方法は、いくつかの重要な情報を見落とす可能性のある手作りの機能に基づいていました。この論文では、頭を固定した実験と頭を使わない実験を行った。水平筋電図(HEOG)と首筋電図(NEMG)を使用しました。これらは、サッカードと頭の回転を別々に測定して、一般的に視線を推定しました。従来の分類器と手作りの特徴に加えて、ディープニューラルネットワーク(DNN)が導入され、無傷の波形から特徴を自動的に抽出しました。評価結果は、入力が慣性測定ユニットを備えたHEOGである場合、提案されたDNN分類器の最高のパフォーマンスが93.3%を達成したことを示しました。また、HEOGをNEMGと併用した場合、精度は72.6%に達し、HEOG(約71.0%)またはNEMG(約35.7%)のみの場合よりも高くなりました。これらの結果は、HEOGとNEMGで視線を推定する可能性を示しています。
Hearing-impaired listeners usually have troubles attending target talker in multi-talker scenes, even with hearing aids (HAs). The problem can be solved with eye-gaze steering HAs, which requires listeners eye-gazing on the target. In a situation where head rotates, eye-gaze is subject to both behaviors of saccade and head rotation. However, existing methods of eye-gaze estimation did not work reliably, since the listener's strategy of eye-gaze varies and measurements of the two behaviors were not properly combined. Besides, existing methods were based on hand-craft features, which could overlook some important information. In this paper, a head-fixed and a head-free experiments were conducted. We used horizontal electrooculography (HEOG) and neck electromyography (NEMG), which separately measured saccade and head rotation to commonly estimate eye-gaze. Besides traditional classifier and hand-craft features, deep neural networks (DNN) were introduced to automatically extract features from intact waveforms. Evaluation results showed that when the input was HEOG with inertial measurement unit, the best performance of our proposed DNN classifiers achieved 93.3%; and when HEOG was with NEMG together, the accuracy reached 72.6%, higher than that with HEOG (about 71.0%) or NEMG (about 35.7%) alone. These results indicated the feasibility to estimate eye-gaze with HEOG and NEMG.