ドメイン一般化(DG)は、一連のソースドメインでトレーニングされたモデルが、見えないターゲットドメインでより適切に一般化できるようにすることを目的としています。現在のDG法のパフォーマンスは、十分なラベル付きデータに大きく依存していますが、通常はコストがかかるか利用できません。ラベルのないデータははるかにアクセスしやすいため、教師なし学習がドメイン間で深いモデルを一般化するのにどのように役立つかを探ります。具体的には、教師なしドメイン一般化(UDG)と呼ばれる新しい一般化問題を研究します。これは、ラベルなしデータを使用して一般化可能なモデルを学習し、事前トレーニングがDGに与える影響を分析することを目的としています。 UDGでは、モデルはさまざまなソースドメインからのラベルなしデータで事前トレーニングされてから、ラベル付きソースデータでトレーニングされ、最終的には見えないターゲットドメインでテストされます。次に、ドメイン認識表現学習(DARLING)という名前の方法を提案して、ラベルのない事前トレーニングデータ内の重大で誤解を招く不均一性と、ソースデータとターゲットデータ間の深刻な分布シフトに対処します。驚いたことに、DARLINGは、ラベル付けされたデータの不足を相殺するだけでなく、ラベル付けされたデータが不十分な場合にモデルの一般化能力をさらに強化できることを観察しました。事前トレーニングアプローチとして、DARLINGは、利用可能なデータにラベルが付いていない場合でも、ImageNet事前トレーニングプロトコルと比較して優れた、または同等のパフォーマンスを示し、ImageNetと比較して量が非常に少ないため、大規模なラベルなしデータによる一般化の改善に光を当てることができます。
Domain generalization (DG) aims to help models trained on a set of source domains generalize better on unseen target domains. The performances of current DG methods largely rely on sufficient labeled data, which are usually costly or unavailable, however. Since unlabeled data are far more accessible, we seek to explore how unsupervised learning can help deep models generalize across domains. Specifically, we study a novel generalization problem called unsupervised domain generalization (UDG), which aims to learn generalizable models with unlabeled data and analyze the effects of pre-training on DG. In UDG, models are pretrained with unlabeled data from various source domains before being trained on labeled source data and eventually tested on unseen target domains. Then we propose a method named Domain-Aware Representation LearnING (DARLING) to cope with the significant and misleading heterogeneity within unlabeled pretraining data and severe distribution shifts between source and target data. Surprisingly we observe that DARLING can not only counterbalance the scarcity of labeled data but also further strengthen the generalization ability of models when the labeled data are insufficient. As a pretraining approach, DARLING shows superior or comparable performance compared with ImageNet pretraining protocol even when the available data are unlabeled and of a vastly smaller amount compared to ImageNet, which may shed light on improving generalization with large-scale unlabeled data.