ディープ ニューラル ネットワークは、さまざまなビジョン タスクで目覚ましい成功を収めていますが、モデルが分散されていないシナリオでテストされると、明らかなパフォーマンスの低下が依然として存在します。この制限に対処する際に、トレーニング データのドメイン特性を保持する特徴統計 (平均および標準偏差) を適切に操作して、ディープ ラーニング モデルの一般化能力を向上させることができると考えています。既存の方法は一般に、学習した特徴から測定された決定論的な値として特徴統計を考慮し、テスト中の潜在的なドメインシフトによって引き起こされる不確実な統計の不一致を明示的にモデル化しません。この論文では、不確実性を伴うドメイン シフト (DSU) をモデル化することにより、ネットワークの汎化能力を向上させます。つまり、トレーニング中に特徴統計を不確実な分布として特徴付けます。具体的には、潜在的な不確実性を考慮した後、機能統計は多変量ガウス分布に従うと仮定します。推論中に、予測不可能なシフトに適応的に対処し、ごくわずかな追加コストでトレーニング済みモデルの一般化能力をさらに強化できるインスタンスごとの適応戦略を提案します。また、一般化の誤差範囲と暗黙の正則化効果の側面に関する理論的分析を行い、この方法の有効性を示します。広範な実験により、私たちの方法が、画像分類、セマンティックセグメンテーション、インスタンス検索、ポーズ推定など、複数のビジョンタスクでネットワークの一般化能力を一貫して改善することが示されています。私たちの方法はシンプルですが効果的であり、トレーニング可能なパラメーターや損失の制約を追加することなく、ネットワークに簡単に統合できます。コードは https://github.com/lixiaotong97/DSU で公開されます。
Though deep neural networks have achieved impressive success on various vision tasks, obvious performance degradation still exists when models are tested in out-of-distribution scenarios. In addressing this limitation, we ponder that the feature statistics (mean and standard deviation), which carry the domain characteristics of the training data, can be properly manipulated to improve the generalization ability of deep learning models. Existing methods commonly consider feature statistics as deterministic values measured from the learned features and do not explicitly model the uncertain statistics discrepancy caused by potential domain shifts during testing. In this paper, we improve the network generalization ability by modeling domain shifts with uncertainty (DSU), i.e., characterizing the feature statistics as uncertain distributions during training. Specifically, we hypothesize that the feature statistic, after considering the potential uncertainties, follows a multivariate Gaussian distribution. During inference, we propose an instance-wise adaptation strategy that can adaptively deal with the unforeseeable shift and further enhance the generalization ability of the trained model with negligible additional cost. We also conduct theoretical analysis on the aspects of generalization error bound and the implicit regularization effect, showing the efficacy of our method. Extensive experiments demonstrate that our method consistently improves the network generalization ability on multiple vision tasks, including image classification, semantic segmentation, instance retrieval, and pose estimation. Our methods are simple yet effective and can be readily integrated into networks without additional trainable parameters or loss constraints. Code will be released in https://github.com/lixiaotong97/DSU.