arXiv reaDer
Domain Generalization via Gradient Surgery
実際のアプリケーションでは、機械学習モデルは、トレーニングドメインとテストドメインの間でデータ分散に変化があるシナリオに直面することがよくあります。トレーニングで見られるものとは異なる分布の予測を行うことが目的である場合、ドメインの一般化の問題が発生します。この問題に対処する方法は、複数のソースドメインからのデータを使用してモデルを学習し、このモデルを見えないターゲットドメインに適用します。私たちの仮説は、複数のドメインでトレーニングする場合、各ミニバッチ内の競合する勾配には、テストドメインを含む、他のドメインとは無関係な個々のドメインに固有の情報が含まれているというものです。そのままにしておくと、このような不一致によって一般化のパフォーマンスが低下する可能性があります。この作業では、ドメインシフトシナリオで出現する競合する勾配を特徴付け、その影響を軽減するために勾配手術に基づく新しい勾配合意戦略を考案します。 3つのマルチドメインデータセットを使用して画像分類タスクでのアプローチを検証し、ドメインシフトシナリオで深層学習モデルの一般化機能を強化する際に提案された合意戦略の価値を示します。
In real-life applications, machine learning models often face scenarios where there is a change in data distribution between training and test domains. When the aim is to make predictions on distributions different from those seen at training, we incur in a domain generalization problem. Methods to address this issue learn a model using data from multiple source domains, and then apply this model to the unseen target domain. Our hypothesis is that when training with multiple domains, conflicting gradients within each mini-batch contain information specific to the individual domains which is irrelevant to the others, including the test domain. If left untouched, such disagreement may degrade generalization performance. In this work, we characterize the conflicting gradients emerging in domain shift scenarios and devise novel gradient agreement strategies based on gradient surgery to alleviate their effect. We validate our approach in image classification tasks with three multi-domain datasets, showing the value of the proposed agreement strategy in enhancing the generalization capability of deep learning models in domain shift scenarios.
updated: Tue Aug 03 2021 16:49:25 GMT+0000 (UTC)
published: Tue Aug 03 2021 16:49:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト