ディープニューラルネットワークにより、外観ベースの視線推定精度が大幅に向上しました。ただし、トレーニング済みモデルを新しいドメイン(たとえば、見えない環境や人)に一般化すると、パフォーマンスが不十分になるという問題があります。この論文では、外れ値のガイダンスと協力して学習するネットワークのアンサンブルであるプラグアンドプレイ視線適応フレームワーク(PnP-GA)を提案します。提案されたフレームワークはターゲットドメインにグラウンドトゥルースラベルを必要としないため、既存の視線推定ネットワークをPnP-GAに直接接続して、アルゴリズムを新しいドメインに一般化できます。 4つの注視ドメイン適応タスク、ETHからMPII、ETHからEyeDiap、Gaze360からMPII、およびGaze360からEyeDiapでPnP-GAをテストします。実験結果は、PnP-GAフレームワークがベースラインシステムに対して36.9%、31.6%、19.4%、および11.8%の大幅なパフォーマンスの向上を達成することを示しています。提案されたフレームワークはまた、視線ドメイン適応タスクに関する最先端のドメイン適応アプローチよりも優れています。コードはhttps://github.com/DreamtaleCore/PnP-GAでリリースされています。
Deep neural networks have significantly improved appearance-based gaze estimation accuracy. However, it still suffers from unsatisfactory performance when generalizing the trained model to new domains, e.g., unseen environments or persons. In this paper, we propose a plug-and-play gaze adaptation framework (PnP-GA), which is an ensemble of networks that learn collaboratively with the guidance of outliers. Since our proposed framework does not require ground-truth labels in the target domain, the existing gaze estimation networks can be directly plugged into PnP-GA and generalize the algorithms to new domains. We test PnP-GA on four gaze domain adaptation tasks, ETH-to-MPII, ETH-to-EyeDiap, Gaze360-to-MPII, and Gaze360-to-EyeDiap. The experimental results demonstrate that the PnP-GA framework achieves considerable performance improvements of 36.9%, 31.6%, 19.4%, and 11.8% over the baseline system. The proposed framework also outperforms the state-of-the-art domain adaptation approaches on gaze domain adaptation tasks. Code has been released at https://github.com/DreamtaleCore/PnP-GA.