ドメイン シフトが原因で、機械学習システムは通常、トレーニング データのドメインとは異なるドメインへの一般化に失敗します。これは、ドメインの一般化 (DG) が対処することを目的としています。さまざまな DG メソッドが開発されていますが、それらのほとんどは解釈可能性に欠けており、実際の多くのシナリオでは使用できないドメイン ラベルが必要です。このホワイト ペーパーでは、ドメイン ラベルに依存せず、より解釈しやすい HMOE: Hypernetwork-based Mixture of Experts (MoE) と呼ばれる新しい DG メソッドを紹介します。 MoE は、データ内の異種パターンの識別に有効であることが証明されています。 DG 問題の場合、異質性はまさにドメイン シフトから生じます。 HMOE は、ベクトルを入力として受け取るハイパーネットワークを使用して専門家の重みを生成します。これにより、専門家は有用なメタ知識を共有し、低次元のベクトル空間で専門家の類似点を探ることができます。公平で統一されたベンチマーク DomainBed の下で、HMOE を他の DG アルゴリズムと比較します。私たちの広範な実験は、HMOE が混合ドメイン データを異なるクラスターに分割できることを示しています。これらのクラスターは、元のドメイン ラベルよりも驚くほど人間の直感と一致しています。他の DG メソッドと比較して、HMOE は競争力のあるパフォーマンスを示し、場合によっては SOTA の結果を達成します。
Due to domain shift, machine learning systems typically fail to generalize well to domains different from those of training data, which is what domain generalization (DG) aims to address. Although various DG methods have been developed, most of them lack interpretability and require domain labels that are not available in many real-world scenarios. This paper presents a novel DG method, called HMOE: Hypernetwork-based Mixture of Experts (MoE), which does not rely on domain labels and is more interpretable. MoE proves effective in identifying heterogeneous patterns in data. For the DG problem, heterogeneity arises exactly from domain shift. HMOE uses hypernetworks taking vectors as input to generate experts' weights, which allows experts to share useful meta-knowledge and enables exploring experts' similarities in a low-dimensional vector space. We compare HMOE with other DG algorithms under a fair and unified benchmark-DomainBed. Our extensive experiments show that HMOE can divide mixed-domain data into distinct clusters that are surprisingly more consistent with human intuition than original domain labels. Compared to other DG methods, HMOE shows competitive performance and achieves SOTA results in some cases.