自己中心的なビデオでは、アクションはすばやく連続して発生します。アクションの時間的コンテキストを利用して、認識パフォーマンスを向上させるために、周囲のアクションに注意を向けることを学習する方法を提案します。時間的コンテキストを組み込むために、ビデオとオーディオを入力モダリティとして取り込むトランスフォーマーベースのマルチモーダルモデルを提案します。明示的な言語モデルは、予測を強化するためのアクションシーケンスコンテキストを提供します。最先端のパフォーマンスを報告するEPIC-KITCHENSおよびEGTEAデータセットでアプローチをテストします。私たちのアブレーションは、時間的コンテキストを利用するだけでなく、音声入力モダリティと言語モデルを組み込んで予測を再スコアリングすることの利点を示しています。コードとモデル:https://github.com/ekazakos/MTCN。
In egocentric videos, actions occur in quick succession. We capitalise on the action's temporal context and propose a method that learns to attend to surrounding actions in order to improve recognition performance. To incorporate the temporal context, we propose a transformer-based multimodal model that ingests video and audio as input modalities, with an explicit language model providing action sequence context to enhance the predictions. We test our approach on EPIC-KITCHENS and EGTEA datasets reporting state-of-the-art performance. Our ablations showcase the advantage of utilising temporal context as well as incorporating audio input modality and language model to rescore predictions. Code and models at: https://github.com/ekazakos/MTCN.