外部の知識による視覚的な質問応答は、自由な現実世界の知識の獲得と使用の両方を必要とする困難なタスクです。既存のソリューションの中には、自然言語空間のはるかに広大なテキスト知識を見落とすクロスモダリティ空間に外部知識を引き込むものもありますが、画像をテキストに変換してテキスト知識とさらに自然言語空間に融合させ、自然言語空間を完全に放棄するものもあります。視覚的特徴の使用。この論文では、クロスモダリティ空間を自然言語空間と同じ空間に制約することで、視覚的特徴が直接保存され、モデルは依然として自然言語空間の膨大な知識の恩恵を受けています。この目的を達成するために、マルチモーダル エンコーダ、テキスト エンコーダ、および応答デコーダから構成される新しいフレームワークを提案します。このような構造により、明示的および暗黙的なマルチモーダル知識やテキスト知識を含む、より多くの種類の知識を導入することができます。広範な実験により、提案された方法の優位性が検証され、最新技術の精度を 6.17% 上回りました。また、各コンポーネントの包括的なアブレーションを実施し、さまざまな種類の知識の役割を体系的に学習します。コードとナレッジ データは、https://github.com/PhoebusSi/Thinking-while-Observing で見つけることができます。
Outside-knowledge visual question answering is a challenging task that requires both the acquisition and the use of open-ended real-world knowledge. Some existing solutions draw external knowledge into the cross-modality space which overlooks the much vaster textual knowledge in natural-language space, while others transform the image into a text that further fuses with the textual knowledge into the natural-language space and completely abandons the use of visual features. In this paper, we are inspired to constrain the cross-modality space into the same space of natural-language space which makes the visual features preserved directly, and the model still benefits from the vast knowledge in natural-language space. To this end, we propose a novel framework consisting of a multimodal encoder, a textual encoder and an answer decoder. Such structure allows us to introduce more types of knowledge including explicit and implicit multimodal and textual knowledge. Extensive experiments validate the superiority of the proposed method which outperforms the state-of-the-art by 6.17% accuracy. We also conduct comprehensive ablations of each component, and systematically study the roles of varying types of knowledge. Codes and knowledge data can be found at https://github.com/PhoebusSi/Thinking-while-Observing.