ビデオの時間的言語の根拠は、特定のクエリ文に関連する時間的スパンをローカライズすることを目的としています。以前の方法では、これを境界回帰タスクまたはスパン抽出タスクとして扱います。この論文は、ビデオ読解への時間的言語基盤を定式化し、それに対処するための関係認識ネットワーク(RaNet)を提案します。このフレームワークは、大まかな選択とクエリの相互作用および選択と選択の関係の構築を利用して、事前定義された回答セットからビデオモーメントの選択を選択することを目的としています。選択クエリインタラクターは、文の瞬間とトークンの瞬間のレベルで視覚情報とテキスト情報を同時に一致させるために提案されており、粗くて細かいクロスモーダル相互作用につながります。さらに、グラフの畳み込みを活用してビデオモーメントの選択間の依存関係をキャプチャし、最良の選択を選択することにより、新しい複数選択関係コンストラクターが導入されています。 ActivityNet-Captions、TACoS、およびCharades-STAに関する広範な実験により、当社のソリューションの有効性が実証されています。コードはまもなくリリースされます。
Temporal language grounding in videos aims to localize the temporal span relevant to the given query sentence. Previous methods treat it either as a boundary regression task or a span extraction task. This paper will formulate temporal language grounding into video reading comprehension and propose a Relation-aware Network (RaNet) to address it. This framework aims to select a video moment choice from the predefined answer set with the aid of coarse-and-fine choice-query interaction and choice-choice relation construction. A choice-query interactor is proposed to match the visual and textual information simultaneously in sentence-moment and token-moment levels, leading to a coarse-and-fine cross-modal interaction. Moreover, a novel multi-choice relation constructor is introduced by leveraging graph convolution to capture the dependencies among video moment choices for the best choice selection. Extensive experiments on ActivityNet-Captions, TACoS, and Charades-STA demonstrate the effectiveness of our solution. Codes will be released soon.