質問応答(QA)モデルは、データの偏りを利用することでよく知られています。たとえば、視覚的なQAの前の言語や、読解の位置の偏りなどです。最近のバイアス除去方法は、配布内(ID)のパフォーマンスを大幅に犠牲にして、配布外(OOD)の一般化を実現します。したがって、テストの分布が事前にわかっているドメインにのみ適用できます。この論文では、QAのために両方の世界を最大限に活用するために、Introspective Distillation(IntroD)と呼ばれる新しいバイアス除去方法を紹介します。私たちの重要な技術的貢献は、トレーニングサンプルが実際のIDの世界に適合するか、反事実のOODの世界に適合するかを内省することにより、OODとIDの誘導バイアスをブレンドすることです。視覚的なQAデータセットVQAv2、VQA-CP、および読解データセットSQuADでの実験は、提案されたIntroDが、他のバイアス除去方法と比較して競争力のあるOODパフォーマンスを維持しながら、バイアス除去されていない方法と比較してIDパフォーマンスをほとんど犠牲にしないか、さらには達成することを示しています。
Question answering (QA) models are well-known to exploit data bias, e.g., the language prior in visual QA and the position bias in reading comprehension. Recent debiasing methods achieve good out-of-distribution (OOD) generalizability with a considerable sacrifice of the in-distribution (ID) performance. Therefore, they are only applicable in domains where the test distribution is known in advance. In this paper, we present a novel debiasing method called Introspective Distillation (IntroD) to make the best of both worlds for QA. Our key technical contribution is to blend the inductive bias of OOD and ID by introspecting whether a training sample fits in the factual ID world or the counterfactual OOD one. Experiments on visual QA datasets VQA v2, VQA-CP, and reading comprehension dataset SQuAD demonstrate that our proposed IntroD maintains the competitive OOD performance compared to other debiasing methods, while sacrificing little or even achieving better ID performance compared to the non-debiasing ones.