時間的グラウンディングは、セマンティクスが特定の自然言語クエリに関連しているビデオ内のビデオモーメントを時間的にローカライズすることを目的としています。既存の方法は通常、複雑なヘッドと融合戦略の設計に焦点を当てて、融合表現に検出または回帰パイプラインを適用します。代わりに、メトリック学習問題としての時間的接地の観点から、言語クエリと共同埋め込みスペースのビデオモーメントとの関係を直接モデル化するために、デュアルマッチングネットワーク(DMN)を提示します。この新しいメトリック学習フレームワークにより、2つの新しい側面からネガティブサンプルを完全に活用できます。デュアルマッチングスキームからネガティブクロスモーダルペアを構築することと、異なるビデオ間でネガティブペアをマイニングすることです。これらの新しいネガティブサンプルは、相互情報量を最大化するために、クロスモーダルペア識別を介して2つのモダリティの共同表現学習を強化する可能性があります。実験によると、DMNは、4つのビデオ接地ベンチマークで最先端の方法と比較して非常に競争力のあるパフォーマンスを達成しています。 DMNに基づいて、第3回PICワークショップのSTVGチャレンジの勝者ソリューションを紹介します。これは、メトリック学習が、共同埋め込み空間で本質的なクロスモーダル相関をキャプチャすることにより、時間的接地のための有望な方法であることを示唆しています。
Temporal grounding aims to temporally localize a video moment in the video whose semantics are related to a given natural language query. Existing methods typically apply a detection or regression pipeline on the fused representation with a focus on designing complicated heads and fusion strategies. Instead, from a perspective on temporal grounding as a metric-learning problem, we present a Dual Matching Network (DMN), to directly model the relations between language queries and video moments in a joint embedding space. This new metric-learning framework enables fully exploiting negative samples from two new aspects: constructing negative cross-modal pairs from a dual matching scheme and mining negative pairs across different videos. These new negative samples could enhance the joint representation learning of two modalities via cross-modal pair discrimination to maximize their mutual information. Experiments show that DMN achieves highly competitive performance compared with state-of-the-art methods on four video grounding benchmarks. Based on DMN, we present a winner solution for STVG challenge of the 3rd PIC workshop. This suggests that metric-learning is still a promising method for temporal grounding via capturing the essential cross-modal correlation in a joint embedding space.