ビデオの一時的な文グラウンディングは、特定の文に意味的に対応する1つのターゲットビデオセグメントを検出してローカライズすることを目的としています。既存の方法は、主に文と候補ビデオセグメント間のセマンティクスのマッチングと調整を介してこのタスクに取り組んでいますが、ビデオ内の記述されたコンテンツを時間的に関連付けて構成する際に文情報が重要な役割を果たすという事実を無視しています。この論文では、新しいセマンティック条件付き動的変調(SCDM)メカニズムを提案します。これは、時間に関連するビデオコンテンツをより適切に相関および構成するために、時間コンボリューション操作を変調するセンテンスセマンティクスに依存します。さらに重要なことは、提案されたSCDMは、多様なビデオコンテンツに対して動的に実行され、文とビデオの間のより正確なマッチング関係を確立し、それによって一時的なグラウンディング精度を改善します。 3つのパブリックデータセットの広範な実験により、提案されたモデルが明確なマージンで最新技術より優れていることが実証され、SCDMが関連するビデオコンテンツを一時的な文章グラウンディングにより適切に関連付けてローカライズする能力が示されています。このペーパーのコードは、https://github.com/yytzsy/SCDMで入手できます。
Temporal sentence grounding in videos aims to detect and localize one target video segment, which semantically corresponds to a given sentence. Existing methods mainly tackle this task via matching and aligning semantics between a sentence and candidate video segments, while neglect the fact that the sentence information plays an important role in temporally correlating and composing the described contents in videos. In this paper, we propose a novel semantic conditioned dynamic modulation (SCDM) mechanism, which relies on the sentence semantics to modulate the temporal convolution operations for better correlating and composing the sentence related video contents over time. More importantly, the proposed SCDM performs dynamically with respect to the diverse video contents so as to establish a more precise matching relationship between sentence and video, thereby improving the temporal grounding accuracy. Extensive experiments on three public datasets demonstrate that our proposed model outperforms the state-of-the-arts with clear margins, illustrating the ability of SCDM to better associate and localize relevant video contents for temporal sentence grounding. Our code for this paper is available at https://github.com/yytzsy/SCDM .