転移学習は、大規模なデータセットで事前トレーニングされたモデルの表現力を、より小さく、よりドメイン固有のデータセットのターゲット タスクに合わせて微調整できるようにすることで有益です。ただし、これらの事前トレーニング済みモデルには、微調整されたモデルに伝播する独自のバイアスが伴う可能性があるという懸念があります。この作業では、ターゲット タスクと機密属性の間の疑似相関と、データセット内の特定のグループの過小評価の両方として概念化された場合のバイアスを調査します。バイアスの両方の概念の下で、(1) 事前トレーニング済みモデルの上に微調整されたモデルは実際にそのバイアスを継承できるが、(2) このバイアスは微調整データセットへの比較的小さな介入によって修正でき、多くの場合、無視できる影響しかないことがわかります。パフォーマンスへ。私たちの調査結果は、微調整データセットの慎重なキュレーションがダウンストリーム タスクのバイアスを減らすために重要であり、そうすることで、事前トレーニング済みモデルのバイアスを補償することさえできることを意味します。
Transfer learning is beneficial by allowing the expressive features of models pretrained on large-scale datasets to be finetuned for the target task of smaller, more domain-specific datasets. However, there is a concern that these pretrained models may come with their own biases which would propagate into the finetuned model. In this work, we investigate bias when conceptualized as both spurious correlations between the target task and a sensitive attribute as well as underrepresentation of a particular group in the dataset. Under both notions of bias, we find that (1) models finetuned on top of pretrained models can indeed inherit their biases, but (2) this bias can be corrected for through relatively minor interventions to the finetuning dataset, and often with a negligible impact to performance. Our findings imply that careful curation of the finetuning dataset is important for reducing biases on a downstream task, and doing so can even compensate for bias in the pretrained model.