arXiv reaDer
Question Guided Modular Routing Networks for Visual Question Answering
このペーパーでは、最近マルチメディアコミュニティで話題となっているVisual Question Answering(VQA)のタスクについて検討します。特に、VQAに存在する2つの重要な研究問題を調査します。(1)視覚とテキストのモダリティを効率的に融合します。 (2)複雑な質問に答える際のVQAモデルの視覚的推論能力を有効にする。これらの困難な問題に対処するために、このホワイトペーパーでは、新しい質問ガイド式モジュラールーティングネットワーク(QGMRN)が提案されています。特に、QGMRNは、ビジュアル、テキスト、およびルーティングネットワークで構成されています。視覚ネットワークとテキストネットワークは、視覚モダリティとテキストモダリティの一般的な特徴抽出機能のバックボーンとして機能します。 QGMRNは、複数のセマンティックレベルで視覚モダリティとテキストモダリティを融合できます。通常、視覚的な推論は、ルーティングネットワークによって、モジュールの選択にGumbel-Softmaxトリックを使用することにより、離散的で確率的な方法で促進されます。入力が特定のモジュラーレイヤーに到達すると、このペーパーで新たに提案されたルーティングネットワークは、そのレイヤーからモジュールの一部を動的に選択し、テキストネットワークによって生成された質問機能に応じて入力を処理します。また、追加の監視情報や専門知識がなくても、汎用モジュール間でルーティングすることにより、推論を学ぶことができます。動的ルーティングメカニズムの恩恵を受けて、QGMRNは以前の従来のVQAメソッドを大幅に上回り、最新のメソッドに対して競争力のある結果を達成できます。さらに、注意メカニズムが当社のQGMRNモデルに統合されているため、モデルのパフォーマンスをさらに向上させることができます。経験的に、CLEVRおよびCLEVR-Humansデータセットに対する広範な実験により、提案されたモデルの有効性が検証され、最先端のパフォーマンスが達成されました。
This paper studies the task of Visual Question Answering (VQA), which is topical in Multimedia community recently. Particularly, we explore two critical research problems existed in VQA: (1) efficiently fusing the visual and textual modalities; (2) enabling the visual reasoning ability of VQA models in answering complex questions. To address these challenging problems, a novel Question Guided Modular Routing Networks (QGMRN) has been proposed in this paper. Particularly, The QGMRN is composed of visual, textual and routing network. The visual and textual network serve as the backbones for the generic feature extractors of visual and textual modalities. QGMRN can fuse the visual and textual modalities at multiple semantic levels. Typically, the visual reasoning is facilitated by the routing network in a discrete and stochastic way by using Gumbel-Softmax trick for module selection. When the input reaches a certain modular layer, routing network newly proposed in this paper, dynamically selects a portion of modules from that layer to process the input depending on the question features generated by the textual network. It can also learn to reason by routing between the generic modules without additional supervision information or expert knowledge. Benefiting from the dynamic routing mechanism, QGMRN can outperform the previous classical VQA methods by a large margin and achieve the competitive results against the state-of-the-art methods. Furthermore, attention mechanism is integrated into our QGMRN model and thus can further boost the model performance. Empirically, extensive experiments on the CLEVR and CLEVR-Humans datasets validate the effectiveness of our proposed model, and the state-of-the-art performance has been achieved.
updated: Fri Sep 04 2020 17:21:28 GMT+0000 (UTC)
published: Wed Apr 17 2019 15:45:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト