ドメイン一般化(DG)は、未知のターゲットドメインの複数の既知のソースドメインから一般化可能なモデルを学習することを目的としています。プライバシー保護のために直接アクセスできない今日の多くの場所/デバイスに分散された膨大なデータ、特に金融や医療などの重要な分野。ただし、既存のDGアルゴリズムのほとんどは、すべてのソースデータセットがアクセス可能であり、ドメイン不変のセマンティクス抽出のために混合できることを前提としています。これは、実際のアプリケーションでは失敗する可能性があります。このホワイトペーパーでは、分散ソースデータセットに直接アクセスせずに、それらを使用して一般化可能なモデルをトレーニングするという難しい設定を紹介します。この設定の新しい方法を提案します。最初に各ソースデータセットでモデルをトレーニングし、次にトレーニングされたモデルをセマンティックの類似性に基づいてレイヤーごとに融合するデータフリーモデルフュージョンを実行します。間接的にソースを配布しました。次に、融合モデルが送信され、各データセットでトレーニングされます。さらに、ドメイン不変のセマンティクス拡張のためのクロスレイヤーセマンティックキャリブレーションを導入します。これにより、融合モデルと固定ローカルモデルの間の特徴マップが注意メカニズムで調整されます。複数のDGデータセットでの広範な実験は、この困難な設定に取り組む際の私たちの方法の重要なパフォーマンスを示しています。これは、標準のDG設定での最先端のDGアプローチのパフォーマンスと同等またはそれ以上です。
Domain generalization (DG) aims to learn a generalizable model from multiple known source domains for unknown target domains. Tremendous data distributed across lots of places/devices nowadays that can not be directly accessed due to privacy protection, especially in some crucial areas like finance and medical care. However, most of the existing DG algorithms assume that all the source datasets are accessible and can be mixed for domain-invariant semantics extraction, which may fail in real-world applications. In this paper, we introduce a challenging setting of training a generalizable model by using distributed source datasets without directly accessing them. We propose a novel method for this setting, which first trains a model on each source dataset and then conduct data-free model fusion that fuses the trained models layer-by-layer based on their semantic similarities, which aggregates different levels of semantics from the distributed sources indirectly. The fused model is then transmitted and trained on each dataset, we further introduce cross-layer semantic calibration for domain-invariant semantics enhancement, which aligns feature maps between the fused model and a fixed local model with an attention mechanism. Extensive experiments on multiple DG datasets show the significant performance of our method in tackling this challenging setting, which is even on par or superior to the performance of the state-of-the-art DG approaches in the standard DG setting.