arXiv reaDer
Test-time Batch Statistics Calibration for Covariate Shift
深いニューラルネットワークは、共変量シフトのために、目に見えない環境に適用すると明らかに劣化します。ドメイン適応のような従来のアプローチでは、反復トレーニングのために事前に収集されたターゲットデータが必要ですが、これは実際のアプリケーションでは実用的ではありません。この論文では、推論中に深いモデルを新しい環境に適応させることを提案します。以前の解決策は、テスト時間の正規化です。これは、BNレイヤーのソース統計をターゲットバッチ統計に置き換えます。ただし、テスト時間の正規化は、ターゲットバッチ統計とソースパラメータの不一致により、識別構造を劣化させる可能性があることを示しています。この目的のために、ドメインシフトの軽減と識別構造の維持の両方のためにソース統計とターゲット統計を混合することによってバッチ統計を較正するための一般的な定式化α-BNを提示します。 α-BNに基づいて、ペアワイズクラス相関オンライン最適化を実行する統合テスト時間適応フレームワークコアを形成するための新しい損失関数をさらに提示します。広範な実験により、私たちのアプローチは、破損に対するモデルの堅牢性、画像分類のドメイン一般化、セマンティックセグメンテーションなど、3つのトピックからの合計12のデータセットで最先端のパフォーマンスを達成することが示されています。特に、私たちのα-BNはGTA5で28.4%から43.9%向上します→トレーニングなしの都市景観は、最新のソースフリードメイン適応方法よりも優れています。
Deep neural networks have a clear degradation when applying to the unseen environment due to the covariate shift. Conventional approaches like domain adaptation requires the pre-collected target data for iterative training, which is impractical in real-world applications. In this paper, we propose to adapt the deep models to the novel environment during inference. An previous solution is test time normalization, which substitutes the source statistics in BN layers with the target batch statistics. However, we show that test time normalization may potentially deteriorate the discriminative structures due to the mismatch between target batch statistics and source parameters. To this end, we present a general formulation α-BN to calibrate the batch statistics by mixing up the source and target statistics for both alleviating the domain shift and preserving the discriminative structures. Based on α-BN, we further present a novel loss function to form a unified test time adaptation framework Core, which performs the pairwise class correlation online optimization. Extensive experiments show that our approaches achieve the state-of-the-art performance on total twelve datasets from three topics, including model robustness to corruptions, domain generalization on image classification and semantic segmentation. Particularly, our α-BN improves 28.4% to 43.9% on GTA5 → Cityscapes without any training, even outperforms the latest source-free domain adaptation method.
updated: Wed Oct 06 2021 08:45:03 GMT+0000 (UTC)
published: Wed Oct 06 2021 08:45:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト