arXiv reaDer
GCISG: Syn-to-real の一般化を改善するためのガイド付き因果不変学習
GCISG: Guided Causal Invariant Learning for Improved Syn-to-real Generalization
人工的に生成されたデータを使用して深層学習モデルをトレーニングすることは、トレーニング データが不足している場合の代替手段となる可能性がありますが、ドメイン ギャップが大きいために汎化パフォーマンスが低下するという問題があります。この論文では、データ生成の因果フレームワークを使用して、ドメイン ギャップを特徴付けます。実際のデータと合成データには、共通のコンテンツ変数と異なるスタイル変数があると仮定します。したがって、合成データセットでトレーニングされたモデルは、モデルが厄介なスタイル変数を学習するため、一般化が不十分になる可能性があります。そのために、我々は因果的不変性学習を提案します。これは、モデルが、syn-to-real の一般化を強化するスタイル不変表現を学習することを奨励します。さらに、実際のドメインのセマンティック知識の壊滅的な忘却を防ぐ、シンプルで効果的な特徴抽出方法を提案します。要するに、私たちの方法を、syn-to-real 一般化のパフォーマンスを効果的に改善する Guided Causal Invariant Syn-to-real Generalization と呼びます。提案された方法の有効性を実証的に検証し、特に、画像分類やセマンティック セグメンテーションなどの視覚的 syn-to-real ドメイン一般化タスクで最先端の方法を実現します。
Training a deep learning model with artificially generated data can be an alternative when training data are scarce, yet it suffers from poor generalization performance due to a large domain gap. In this paper, we characterize the domain gap by using a causal framework for data generation. We assume that the real and synthetic data have common content variables but different style variables. Thus, a model trained on synthetic dataset might have poor generalization as the model learns the nuisance style variables. To that end, we propose causal invariance learning which encourages the model to learn a style-invariant representation that enhances the syn-to-real generalization. Furthermore, we propose a simple yet effective feature distillation method that prevents catastrophic forgetting of semantic knowledge of the real domain. In sum, we refer to our method as Guided Causal Invariant Syn-to-real Generalization that effectively improves the performance of syn-to-real generalization. We empirically verify the validity of proposed methods, and especially, our method achieves state-of-the-art on visual syn-to-real domain generalization tasks such as image classification and semantic segmentation.
updated: Mon Aug 22 2022 02:39:05 GMT+0000 (UTC)
published: Mon Aug 22 2022 02:39:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト