ビデオの質問応答は困難な作業であり、エージェントは豊富なビデオコンテンツを理解し、時空間推論を実行できる必要があります。ただし、既存のグラフベースの方法では、VideoQAの2つのプロパティを無視して、マルチステップ推論を適切に実行できません。(1)同じビデオであっても、関係推論で答えを推測するには、質問が異なれば、ビデオクリップまたはオブジェクトの量も異なる場合があります。 (2)推論中、外観と動きの特徴は、相互に相関し、補完する複雑な相互依存関係を持っています。これらの観察に基づいて、エンドツーエンドの方法でビデオを推論するデュアルビジュアルグラフ推論ユニット(DualVGR)を提案します。 DualVGRの最初の貢献は、説明可能なクエリ罰モジュールの設計です。これは、推論の複数のサイクルを通じて、無関係な視覚的特徴を除外できます。 2番目の貢献は、提案されたビデオベースのマルチビューグラフアテンションネットワークです。これは、外観とモーション機能の関係をキャプチャします。当社のDualVGRネットワークは、ベンチマークMSVD-QAおよびSVQAデータセットで最先端のパフォーマンスを実現し、ベンチマークMSRVTT-QAデータセットで競争力のある結果を示しています。私たちのコードはhttps://github.com/MMIR/DualVGR-VideoQAで入手できます。
Video question answering is a challenging task, which requires agents to be able to understand rich video contents and perform spatial-temporal reasoning. However, existing graph-based methods fail to perform multi-step reasoning well, neglecting two properties of VideoQA: (1) Even for the same video, different questions may require different amount of video clips or objects to infer the answer with relational reasoning; (2) During reasoning, appearance and motion features have complicated interdependence which are correlated and complementary to each other. Based on these observations, we propose a Dual-Visual Graph Reasoning Unit (DualVGR) which reasons over videos in an end-to-end fashion. The first contribution of our DualVGR is the design of an explainable Query Punishment Module, which can filter out irrelevant visual features through multiple cycles of reasoning. The second contribution is the proposed Video-based Multi-view Graph Attention Network, which captures the relations between appearance and motion features. Our DualVGR network achieves state-of-the-art performance on the benchmark MSVD-QA and SVQA datasets, and demonstrates competitive results on benchmark MSRVTT-QA datasets. Our code is available at https://github.com/MMIR/DualVGR-VideoQA.