物理的に制約のない視線推定の主な課題は、野生および屋外のシナリオで3D視線注釈を使用してトレーニングデータを取得することです。対照的に、制約のない環境での人間の相互作用のビデオは豊富に利用可能であり、フレームレベルのアクティビティラベルではるかに簡単に注釈を付けることができます。この作業では、人間の相互作用のビデオからの弱く監視された視線推定のこれまで未踏の問題に取り組みます。私たちは、人々が「お互いを見る」(LAEO)活動を行うときに、強い視線に関連する幾何学的制約が存在するという洞察を活用します。 LAEOラベルから実行可能な3D視線監視を取得するために、タスク用に特別に設計されたいくつかの新しい損失関数とともにトレーニングアルゴリズムを提案します。 2つの大規模なCMU-PanopticおよびAVA-LAEOアクティビティデータセットからの弱い監視により、(a)半教師あり視線推定の精度、および(b)最先端のクロスドメイン一般化の大幅な改善を示します。物理的に制約のない野生のGaze360視線推定ベンチマーク。コードはhttps://github.com/NVlabs/weakly-supervised-gazeでオープンソース化しています。
A major challenge for physically unconstrained gaze estimation is acquiring training data with 3D gaze annotations for in-the-wild and outdoor scenarios. In contrast, videos of human interactions in unconstrained environments are abundantly available and can be much more easily annotated with frame-level activity labels. In this work, we tackle the previously unexplored problem of weakly-supervised gaze estimation from videos of human interactions. We leverage the insight that strong gaze-related geometric constraints exist when people perform the activity of "looking at each other" (LAEO). To acquire viable 3D gaze supervision from LAEO labels, we propose a training algorithm along with several novel loss functions especially designed for the task. With weak supervision from two large scale CMU-Panoptic and AVA-LAEO activity datasets, we show significant improvements in (a) the accuracy of semi-supervised gaze estimation and (b) cross-domain generalization on the state-of-the-art physically unconstrained in-the-wild Gaze360 gaze estimation benchmark. We open source our code at https://github.com/NVlabs/weakly-supervised-gaze.