自然言語でトリミングされていないビデオから特定の瞬間を取得する問題に対処します。ターゲットの瞬間は、トリミングされていないビデオの他の時間的な瞬間のコンテキストで発生する可能性があるため、これは難しい問題です。既存の方法は、時間的瞬間の間の時間的コンテキストを完全に考慮していないため、この課題にうまく取り組むことはできません。この論文では、異なる時間スケールで事前定義された2次元マップのセットによって、ビデオモーメント間の時間的コンテキストをモデル化します。各マップについて、1つのディメンションは瞬間の開始時刻を示し、もう1つのディメンションは期間を示します。これらの2D時間マップは、さまざまな時間スケールで隣接するコンテキストを表現しながら、さまざまな長さのさまざまなビデオモーメントをカバーできます。 2D時間マップに基づいて、モーメントのローカリゼーションのためのシングルショットフレームワークであるマルチスケール時間隣接ネットワーク(MS-2D-TAN)を提案します。ビデオの瞬間を参照式と照合するための識別機能を学習しながら、各スケールで隣接する時間コンテキストをエンコードすることができます。提案されたMS-2D-TANを、3つの挑戦的なベンチマーク、つまり、Charades-STA、ActivityNet Captions、およびTACoSで評価します。ここで、MS-2D-TANは最先端のパフォーマンスを上回っています。
We address the problem of retrieving a specific moment from an untrimmed video by natural language. It is a challenging problem because a target moment may take place in the context of other temporal moments in the untrimmed video. Existing methods cannot tackle this challenge well since they do not fully consider the temporal contexts between temporal moments. In this paper, we model the temporal context between video moments by a set of predefined two-dimensional maps under different temporal scales. For each map, one dimension indicates the starting time of a moment and the other indicates the duration. These 2D temporal maps can cover diverse video moments with different lengths, while representing their adjacent contexts at different temporal scales. Based on the 2D temporal maps, we propose a Multi-Scale Temporal Adjacent Network (MS-2D-TAN), a single-shot framework for moment localization. It is capable of encoding the adjacent temporal contexts at each scale, while learning discriminative features for matching video moments with referring expressions. We evaluate the proposed MS-2D-TAN on three challenging benchmarks, i.e., Charades-STA, ActivityNet Captions, and TACoS, where our MS-2D-TAN outperforms the state of the art.