多くのオンライン アクション予測モデルは、完全なフレームを観察して、フレーム内の有益なサブ領域を見つけて注意を払い、グローバルおよびローカル情報に基づいて進行中のアクションを認識します。ただし、リソースが制限されているアプリケーションでは、エージェントは完全なフレームを観察できない場合がありますが、ローカル情報のみに基づいて不完全なアクションを予測するために有用な一瞥を見つける必要があります。この論文では、これまでに収集された部分的な時空間情報に基づいて、進行中のアクションと次の最も有益な一瞥の場所を予測する、常に狭い一瞥のみを観察する Glimpse Transformers (GliTr) を開発します。アクション認識のための最適な垣間見る場所のグラウンド トゥルースがない場合、新しい時空間一貫性目標を使用して GliTr をトレーニングします。 tまでのフレーム全体を使用して予測されたものと同等の時間tでのクラスロジット(つまり、時間的一貫性)。提案された整合性目標を含めると、ベースラインのクロスエントロピー目標よりも、Something-Something-v2 (SSv2) データセットで精度が最大 10% 高くなります。全体として、フレームあたりの総面積の約 33% しか観測されていないにもかかわらず、GliTr は SSv2 と Jester データセットでそれぞれ 53.02% と 93.91% の精度を達成しています。
Many online action prediction models observe complete frames to locate and attend to informative subregions in the frames called glimpses and recognize an ongoing action based on global and local information. However, in applications with constrained resources, an agent may not be able to observe the complete frame, yet must still locate useful glimpses to predict an incomplete action based on local information only. In this paper, we develop Glimpse Transformers (GliTr), which observe only narrow glimpses at all times, thus predicting an ongoing action and the following most informative glimpse location based on the partial spatiotemporal information collected so far. In the absence of a ground truth for the optimal glimpse locations for action recognition, we train GliTr using a novel spatiotemporal consistency objective: We require GliTr to attend to the glimpses with features similar to the corresponding complete frames (i.e. spatial consistency) and the resultant class logits at time t equivalent to the ones predicted using whole frames up to t (i.e. temporal consistency). Inclusion of our proposed consistency objective yields ~10% higher accuracy on the Something-Something-v2 (SSv2) dataset than the baseline cross-entropy objective. Overall, despite observing only ~33% of the total area per frame, GliTr achieves 53.02% and 93.91% accuracy on the SSv2 and Jester datasets, respectively.