単一ドメインの一般化は、トレーニング用の 1 つのドメイン データのみを使用して、多くの目に見えないドメインで適切に機能するモデルを学習することを目的としています。既存の作品は、モデルの一般化機能を改善するために、敵対的ドメイン拡張 (ADA) の研究に焦点を当てています。正規化層の統計のドメイン一般化への影響は、まだ十分に調査されていません。この論文では、以前の研究で欠落している部分を補完するために、一般的な正規化アプローチ、適応型標準化および再スケーリング正規化 (ASR-Norm) を提案します。 ASR-Norm は、ニューラル ネットワークを介して標準化統計と再スケーリング統計の両方を学習します。この新しい形式の正規化は、従来の正規化の一般的な形式と見なすことができます。 ADA でトレーニングすると、ASR-Norm の統計は、さまざまなドメインからのデータに適応することが学習されるため、ドメイン全体で、特にソース ドメインとの大きな相違があるターゲット ドメインでのモデルの一般化のパフォーマンスが向上します。実験結果は、ASR-Norm が最新の ADA アプローチに対して、Digits、CIFAR-10-C、PACS ベンチマークでそれぞれ平均 1.6%、2.7%、6.3% の一貫した改善をもたらすことができることを示しています。一般的なツールとして、ASR-Norm によって導入された改善は、ADA メソッドの選択に依存しません。
Single domain generalization aims to learn a model that performs well on many unseen domains with only one domain data for training. Existing works focus on studying the adversarial domain augmentation (ADA) to improve the model's generalization capability. The impact on domain generalization of the statistics of normalization layers is still underinvestigated. In this paper, we propose a generic normalization approach, adaptive standardization and rescaling normalization (ASR-Norm), to complement the missing part in previous works. ASR-Norm learns both the standardization and rescaling statistics via neural networks. This new form of normalization can be viewed as a generic form of the traditional normalizations. When trained with ADA, the statistics in ASR-Norm are learned to be adaptive to the data coming from different domains, and hence improves the model generalization performance across domains, especially on the target domain with large discrepancy from the source domain. The experimental results show that ASR-Norm can bring consistent improvement to the state-of-the-art ADA approaches by 1.6%, 2.7%, and 6.3% averagely on the Digits, CIFAR-10-C, and PACS benchmarks, respectively. As a generic tool, the improvement introduced by ASR-Norm is agnostic to the choice of ADA methods.