一般化における最悪のシナリオを研究します:単一のソースからのドメイン外の一般化。目標は、単一のソースから堅牢なモデルを学習し、それが多くの未知の分布に一般化することを期待することです。この困難な問題はめったに調査されていませんが、既存のソリューションにはさまざまな制限があります。この論文では、新しいソリューションを提案します。重要なアイデアは、入力スペースとラベルスペースの両方でソース容量を拡張することですが、拡張は不確実性の評価によって導かれます。私たちの知る限り、これは(1)単一のソースから一般化の不確実性にアクセスし、(2)それを活用して、堅牢な一般化のために入力とラベルの両方の拡張をガイドする最初の作業です。モデルのトレーニングと展開は、ベイジアンメタ学習フレームワークで効果的に編成されています。私たちは、私たちのアプローチを検証するために、広範な比較とアブレーション研究を実施しています。この結果は、画像分類、セマンティックセグメンテーション、テキスト分類、音声認識など、幅広いタスクで優れたパフォーマンスを発揮することを証明しています。
We study a worst-case scenario in generalization: Out-of-domain generalization from a single source. The goal is to learn a robust model from a single source and expect it to generalize over many unknown distributions. This challenging problem has been seldom investigated while existing solutions suffer from various limitations. In this paper, we propose a new solution. The key idea is to augment the source capacity in both input and label spaces, while the augmentation is guided by uncertainty assessment. To the best of our knowledge, this is the first work to (1) access the generalization uncertainty from a single source and (2) leverage it to guide both input and label augmentation for robust generalization. The model training and deployment are effectively organized in a Bayesian meta-learning framework. We conduct extensive comparisons and ablation study to validate our approach. The results prove our superior performance in a wide scope of tasks including image classification, semantic segmentation, text classification, and speech recognition.