クエリ文によってトリミングされていないビデオから特定の瞬間を取得する問題に対処します。ターゲットの瞬間は、トリミングされていないビデオの他の時間的瞬間に関連して発生する可能性があるため、これは難しい問題です。既存の方法は、一時的な瞬間を個別に考慮し、一時的な依存関係を無視するため、この課題にうまく対処できません。この論文では、1次元が瞬間の開始時間を示し、もう1次元が終了時間を示す2次元マップによって、ビデオモーメント間の時間的関係をモデル化します。この2Dテンポラルマップは、隣接する関係を表すと同時に、長さの異なるさまざまなビデオモーメントをカバーできます。 2Dマップに基づいて、モーメントローカリゼーション用のシングルショットフレームワークであるTemporal Adjacent Network(2D-TAN)を提案します。ビデオの瞬間を参照表現と一致させるための識別機能を学習しながら、隣接する時間的関係をエンコードできます。提案された2D-TANを3つの挑戦的なベンチマーク、つまり、Charades-STA、ActivityNet Captions、およびTACoSで評価します。ここでは、2D-TANが最新技術を上回っています。
We address the problem of retrieving a specific moment from an untrimmed video by a query sentence. This is a challenging problem because a target moment may take place in relations to other temporal moments in the untrimmed video. Existing methods cannot tackle this challenge well since they consider temporal moments individually and neglect the temporal dependencies. In this paper, we model the temporal relations between video moments by a two-dimensional map, where one dimension indicates the starting time of a moment and the other indicates the end time. This 2D temporal map can cover diverse video moments with different lengths, while representing their adjacent relations. Based on the 2D map, we propose a Temporal Adjacent Network (2D-TAN), a single-shot framework for moment localization. It is capable of encoding the adjacent temporal relation, while learning discriminative features for matching video moments with referring expressions. We evaluate the proposed 2D-TAN on three challenging benchmarks, i.e., Charades-STA, ActivityNet Captions, and TACoS, where our 2D-TAN outperforms the state-of-the-art.