arXiv reaDer
Beyond Question-Based Biases: Assessing Multimodal Shortcut Learning in Visual Question Answering
ショートカット学習のケースをより適切に診断するために、視覚的な質問応答(VQA)の評価方法を紹介します。これらのケースは、モデルが偽の統計的規則性を利用して正しい答えを生成するが、実際には目的の動作を展開しない場合に発生します。モデルを現実の世界に展開する前に、データセット内の可能なショートカットを特定し、それらの使用を評価する必要があります。 VQAの研究コミュニティは、質問ベースのショートカットにのみ焦点を当てています。たとえば、モデルは、事前の質問条件付きトレーニングに主に依存し、重みをほとんど与えずに、「空の色は何ですか」と「青」で答えることができます。視覚的な証拠に。さらに一歩進んで、質問と画像の両方を含むマルチモーダルショートカットを検討します。まず、単語や視覚要素の共起などの些細な予測ルールをマイニングすることにより、人気のあるVQAv2トレーニングセットの潜在的なショートカットを特定します。次に、VQA-CEを作成します。これは、CounterExamplesで作成された新しい評価セットです。つまり、マイニングされたルールが不正解につながる質問です。この新しい評価は、既存のモデルの大規模な調査に使用されます。最先端のモデルでさえパフォーマンスが低く、バイアスを減らすための既存の手法はこのコンテキストではほとんど効果がないことを示しています。私たちの調査結果は、VQAの質問ベースのバイアスに関する過去の研究は、複雑な問題の1つの側面にしか対処していないことを示唆しています。このメソッドのコードはで入手できます。
We introduce an evaluation methodology for visual question answering (VQA) to better diagnose cases of shortcut learning. These cases happen when a model exploits spurious statistical regularities to produce correct answers but does not actually deploy the desired behavior. There is a need to identify possible shortcuts in a dataset and assess their use before deploying a model in the real world. The research community in VQA has focused exclusively on question-based shortcuts, where a model might, for example, answer "What is the color of the sky" with "blue" by relying mostly on the question-conditional training prior and give little weight to visual evidence. We go a step further and consider multimodal shortcuts that involve both questions and images. We first identify potential shortcuts in the popular VQA v2 training set by mining trivial predictive rules such as co-occurrences of words and visual elements. We then create VQA-CE, a new evaluation set made of CounterExamples i.e. questions where the mined rules lead to incorrect answers. We use this new evaluation in a large-scale study of existing models. We demonstrate that even state-of-the-art models perform poorly and that existing techniques to reduce biases are largely ineffective in this context. Our findings suggest that past work on question-based biases in VQA has only addressed one facet of a complex issue. The code for our method is available at
updated: Wed Apr 14 2021 09:53:36 GMT+0000 (UTC)
published: Wed Apr 07 2021 14:28:22 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト