データ分布の変化の下で十分に一般化する堅牢なモデルを学習することは、実際のアプリケーションにとって重要です。この目的のために、複数のトレーニングドメインから同時に学習することへの関心が高まっていますが、それらのドメイン間でさまざまなタイプの不変性を強制しています。それでも、既存のすべてのアプローチは、管理された評価プロトコルの下で体系的な利点を示すことができません。このホワイトペーパーでは、損失の勾配の空間でドメインの不変性を強制する新しい正則化(Fishrという名前)を紹介します。具体的には、勾配のドメインレベルの分散がトレーニングドメイン間で一致します。私たちのアプローチは、勾配共分散、フィッシャー情報量、および損失のヘッセ行列の間の密接な関係に基づいています。特に、Fishrが最終的にドメインレベルの損失ランドスケープを最終的な重みの周りに局所的に整列させることを示します。広範な実験により、分布外の一般化に対するFishrの有効性が実証されています。特に、FishrはDomainBedベンチマークの最新技術を改善し、経験的リスク最小化よりも一貫して優れたパフォーマンスを発揮します。コードはhttps://github.com/alexrame/fishrでリリースされています。
Learning robust models that generalize well under changes in the data distribution is critical for real-world applications. To this end, there has been a growing surge of interest to learn simultaneously from multiple training domains -- while enforcing different types of invariance across those domains. Yet, all existing approaches fail to show systematic benefits under controlled evaluation protocols. In this paper, we introduce a new regularization -- named Fishr -- that enforces domain invariance in the space of the gradients of the loss: specifically, the domain-level variances of gradients are matched across training domains. Our approach is based on the close relations between the gradient covariance, the Fisher Information and the Hessian of the loss: in particular, we show that Fishr eventually aligns the domain-level loss landscapes locally around the final weights. Extensive experiments demonstrate the effectiveness of Fishr for out-of-distribution generalization. Notably, Fishr improves the state of the art on the DomainBed benchmark and performs consistently better than Empirical Risk Minimization. The code is released at https://github.com/alexrame/fishr.