事前トレーニングにより、多くのタスクで多くの最先端の結果が得られました。一般化への貢献が認められているにもかかわらず、この研究では、事前トレーニングによって非ロバスト性が事前トレーニングされたモデルから微調整されたモデルに移行することも観察されました。画像分類を例として使用して、最初にさまざまなデータセットとネットワークバックボーンで実験を行い、堅牢性に影響を与える要因を調査しました。微調整されたモデルと標準モデルの違いを調べて、非ロバスト性の伝達につながる理由を明らかにするために、さらに分析が行われます。最後に、ターゲットタスクとソースタスクの違いを正規化することにより、シンプルで堅牢な事前トレーニングソリューションを紹介します。結果は、非ロバスト性を軽減し、一般化を維持する効果を検証します。
Pre-training has enabled many state-of-the-art results on many tasks. In spite of its recognized contribution to generalization, we observed in this study that pre-training also transfers the non-robustness from pre-trained model into the fine-tuned model. Using image classification as an example, we first conducted experiments on various datasets and network backbones to explore the factors influencing robustness. Further analysis is conducted on examining the difference between the fine-tuned model and standard model to uncover the reason leading to the non-robustness transfer. Finally, we introduce a simple robust pre-training solution by regularizing the difference between target and source tasks. Results validate the effectiveness in alleviating non-robustness and preserving generalization.