ビデオの時間的応答グラウンディング(TAGV)は、ビデオ(TSGV)の時間的文グラウンディングから自然に派生する新しいタスクです。トリミングされていないビデオとテキストの質問がある場合、このタスクは、質問に意味的に答えることができるビデオから一致するスパンを見つけることを目的としています。既存の方法は、テキストの質問によって照会された視覚的なフレームスパンを照合することにより、視覚的なスパンベースの質問応答(QA)アプローチを使用してTAGVタスクを定式化する傾向があります。ただし、テキストの質問と視覚的な回答の間の機能の相関関係が弱く、セマンティクスに大きなギャップがあるため、視覚的なスパン予測子を採用する既存の方法は、TAGVタスクでうまく機能しません。この作業では、視覚的ハイライト機能を備えた事前トレーニング済み言語モデル(PLM)のテキストスパンローカリゼーションを強化する、視覚的プロンプトテキストスパンローカリゼーション(VPTSL)メソッドを提案します。具体的には、コンテキストクエリの注意を利用して、テキスト機能と視覚機能の間でクロスモーダルモデリングを実行します。次に、ハイライト機能は、視覚的なプロンプトを提供するために線形レイヤーを備えたハイライトモジュールを介して取得されます。テキストと視覚的特徴の間のセマンティクスと相関関係の違いを軽減するために、PLMで質問、字幕、および視覚的プロンプトをエンコードすることにより、テキストスパン予測子を設計します。その結果、TAGVタスクは、応答フレームのタイムラインに一致する字幕のスパンを予測するように定式化されます。医療指導データセット、すなわちMedVidQAでの広範な実験は、提案されたVPTSLが他の最先端(SOTA)メソッドよりもmIOUスコアで28.36だけ大きなマージンで優れていることを示しています。これは、視覚的プロンプトとテキストスパンの有効性を示しています。予測子。
The temporal answering grounding in the video (TAGV) is a new task naturally deriving from temporal sentence grounding in the video (TSGV). Given an untrimmed video and a text question, this task aims at locating the matching span from the video that can semantically answer the question. Existing methods tend to formulate the TAGV task with a visual span-based question answering (QA) approach by matching the visual frame span queried by the text question. However, due to the weak correlations and huge gaps in semantics in features between the textual question and visual answer, existing methods adopting visual span predictor fail to perform well in the TAGV task. In this work, we propose a visual-prompt text span localizing (VPTSL) method, which enhances the text span localization in the pre-trained language model (PLM) with the visual highlight features. Specifically, the context query attention is utilized to perform cross-modal modeling between the textual and visual features. Then, the highlight features are obtained through the highlight module with a linear layer to provide the visual prompt. To alleviate the differences in semantics and correlations between textual and visual features, we design the text span predictor by encoding the question, the subtitles, and the visual prompt in the PLM. As a result, the TAGV task is formulated to predict the span of subtitles matching the answering frame timeline. Extensive experiments on the medical instructional dataset, namely MedVidQA, show that the proposed VPTSL outperforms other state-of-the-art (SOTA) methods by 28.36 in mIOU score with a large margin, which demonstrates the effectiveness of visual prompt and the text span predictor.