最近の研究によると、教師ありモデルはデータアーティファクトを悪用して良好なテストスコアを達成することがよくありますが、トレーニング分布外のサンプルではパフォーマンスが大幅に低下します。コントラストセット(Gardneret al。、2020)は、出力ラベルが変更されるように最小限の方法でテストサンプルを摂動させることにより、この現象を定量化します。ほとんどのコントラストセットは手動で作成され、集中的な注釈作業が必要ですが、豊富なセマンティック入力表現を活用して視覚的な質問応答タスクのコントラストセットを自動的に生成する新しい方法を紹介します。私たちの方法は、混乱した質問の答えを計算するため、注釈のコストを大幅に削減し、さまざまなセマンティックな側面(たとえば、空間的またはリレーショナルな推論)でモデルのパフォーマンスを徹底的に評価できます。 GQAデータセットとそのセマンティックシーングラフ画像表現に対するアプローチの有効性を示します。 GQAの構成性と慎重にバランスの取れたラベル分布にもかかわらず、2つの高性能モデルは元のテストセットと比較して精度が13〜17%低下することがわかりました。最後に、自動摂動をトレーニングセットに適用して、パフォーマンスの低下を軽減し、より堅牢なモデルへの扉を開くことができることを示します。
Recent works have shown that supervised models often exploit data artifacts to achieve good test scores while their performance severely degrades on samples outside their training distribution. Contrast sets (Gardneret al., 2020) quantify this phenomenon by perturbing test samples in a minimal way such that the output label is modified. While most contrast sets were created manually, requiring intensive annotation effort, we present a novel method which leverages rich semantic input representation to automatically generate contrast sets for the visual question answering task. Our method computes the answer of perturbed questions, thus vastly reducing annotation cost and enabling thorough evaluation of models' performance on various semantic aspects (e.g., spatial or relational reasoning). We demonstrate the effectiveness of our approach on the GQA dataset and its semantic scene graph image representation. We find that, despite GQA's compositionality and carefully balanced label distribution, two high-performing models drop 13-17% in accuracy compared to the original test set. Finally, we show that our automatic perturbation can be applied to the training set to mitigate the degradation in performance, opening the door to more robust models.