ニューラルモジュールネットワーク(NMN)は、合成画像の視覚的質問応答(VQA)などの画像ベースのタスクで成功を収めています。ただし、NMNに関する非常に限られた作業が、ビデオベースの対話タスクで研究されています。これらのタスクは、従来の視覚的タスクの複雑さを拡張し、視覚的な時間的差異と言語のクロスターン依存性を追加します。画像に基づいたタスクに関する最近のNMNアプローチに動機付けられて、ビデオに基づいた言語タスクの情報検索プロセスを神経モジュールのパイプラインとしてモデル化するために、ビデオに基づいたニューラルモジュールネットワーク(VGNMN)を導入します。 VGNMNは、最初にダイアログ内のすべての言語コンポーネントを分解して、エンティティ参照を明示的に解決し、質問からの対応するアクションベースの入力を検出します。検出されたエンティティとアクションは、ニューラルモジュールネットワークをインスタンス化し、ビデオから視覚的な手がかりを抽出するためのパラメータとして使用されます。私たちの実験は、VGNMNが、挑戦的なビデオベースの対話ベンチマークとビデオQAベンチマークで有望なパフォーマンスを達成できることを示しています。
Neural module networks (NMN) have achieved success in image-grounded tasks such as Visual Question Answering (VQA) on synthetic images. However, very limited work on NMN has been studied in the video-grounded dialogue tasks. These tasks extend the complexity of traditional visual tasks with the additional visual temporal variance and language cross-turn dependencies. Motivated by recent NMN approaches on image-grounded tasks, we introduce Video-grounded Neural Module Network (VGNMN) to model the information retrieval process in video-grounded language tasks as a pipeline of neural modules. VGNMN first decomposes all language components in dialogues to explicitly resolve any entity references and detect corresponding action-based inputs from the question. The detected entities and actions are used as parameters to instantiate neural module networks and extract visual cues from the video. Our experiments show that VGNMN can achieve promising performance on a challenging video-grounded dialogue benchmark as well as a video QA benchmark.