機械学習モデルは、トレーニング中に誤ってラベルと関連付けられた機能に依存した結果、分布外 (OOD) データに不十分に一般化されることがよくあります。最近、環境全体で機能条件付きラベル期待値 E_e[y|f(x)] を保存することにより、不変機能のみを使用する予測子を学習するために、不変リスク最小化 (IRM) の手法が提案されました。ただし、より最近の研究では、IRM の実用的なバージョンである IRM-v1 がさまざまな設定で失敗する可能性があることが示されています。ここでは、失敗の原因となる IRM の定式化の根本的な欠陥を特定します。次に、ラベル条件付けされた特徴の期待値 E_e[f(x)|y] を保存することに基づいて、不変性の補完的な概念である MRI を導入します。これには、この欠陥はありません。さらに、MRI-v1 と呼ばれる MRI 製剤の簡略化された実用的なバージョンを紹介します。一般的な線形問題について、十分な数の環境が与えられた場合、MRI-v1 は不変の予測子を保証することを証明します。また、MRI-v1 が IRM-v1 よりも優れた性能を発揮し、画像ベースの非線形問題において最適に近い OOD の一般化を一貫して達成することを経験的に示しています。
Machine learning models often generalize poorly to out-of-distribution (OOD) data as a result of relying on features that are spuriously correlated with the label during training. Recently, the technique of Invariant Risk Minimization (IRM) was proposed to learn predictors that only use invariant features by conserving the feature-conditioned label expectation E_e[y|f(x)] across environments. However, more recent studies have demonstrated that IRM-v1, a practical version of IRM, can fail in various settings. Here, we identify a fundamental flaw of IRM formulation that causes the failure. We then introduce a complementary notion of invariance, MRI, based on conserving the label-conditioned feature expectation E_e[f(x)|y], which is free of this flaw. Further, we introduce a simplified, practical version of the MRI formulation called MRI-v1. We prove that for general linear problems, MRI-v1 guarantees invariant predictors given sufficient number of environments. We also empirically demonstrate that MRI-v1 strongly out-performs IRM-v1 and consistently achieves near-optimal OOD generalization in image-based nonlinear problems.