標準のニューラルネットワークは、分布シフトの下で一般化するのに苦労しています。コンピュータビジョンにおける分布外の一般化の場合、現在の最良のアプローチは、トレーニング実行に沿った重みを平均化します。この論文では、この戦略に簡単な変更を加える多様な重み平均化(DiWA)を提案します。DiWAは、単一の実行からではなく、複数の独立したトレーニング実行から得られた重みを平均します。おそらく驚くべきことに、これらの重みの平均化は、ネットワークの非線形性にもかかわらず、ソフトな制約の下でうまく機能します。 DiWAの背後にある主な動機は、平均化されたモデル全体で機能の多様性を高めることです。実際、ハイパーパラメータとトレーニング手順の違いにより、さまざまな実行から取得されたモデルは、単一の実行で収集されたモデルよりも多様です。 DiWAと標準の関数アンサンブリングの類似点を利用して、予想されるエラーの新しい偏りと分散、共分散、局所性の分解によって、多様性の必要性を動機付けます。さらに、この分解は、分散項が支配的な場合にDiWAが成功することを強調しています。これは、テスト時に周辺分布が変化したときに発生することを示しています。実験的に、DiWAは、推論のオーバーヘッドなしに、競争力のあるDomainBedベンチマークの最新技術を一貫して改善します。
Standard neural networks struggle to generalize under distribution shifts. For out-of-distribution generalization in computer vision, the best current approach averages the weights along a training run. In this paper, we propose Diverse Weight Averaging (DiWA) that makes a simple change to this strategy: DiWA averages the weights obtained from several independent training runs rather than from a single run. Perhaps surprisingly, averaging these weights performs well under soft constraints despite the network's nonlinearities. The main motivation behind DiWA is to increase the functional diversity across averaged models. Indeed, models obtained from different runs are more diverse than those collected along a single run thanks to differences in hyperparameters and training procedures. We motivate the need for diversity by a new bias-variance-covariance-locality decomposition of the expected error, exploiting similarities between DiWA and standard functional ensembling. Moreover, this decomposition highlights that DiWA succeeds when the variance term dominates, which we show happens when the marginal distribution changes at test time. Experimentally, DiWA consistently improves the state of the art on the competitive DomainBed benchmark without inference overhead.