arXiv reaDer
反復ドメイン対応マルチターゲット適応
Reiterative Domain Aware Multi-Target Adaptation
ほとんどのドメイン適応方法は、単一ソース-単一ターゲット適応設定に焦点を合わせています。マルチターゲットドメインアダプテーションは、ラベルのない複数のターゲットドメインに対して単一の分類子が学習される強力な拡張機能です。マルチターゲット分類子を構築するには、次のものが重要です。ドメイン間で十分に一般化する特徴抽出器。ラベル付きのソースドメインとラベルなしのさまざまなターゲットドメインからの機能の効果的な集約。最初に向けて、最近人気のあるTransformerを特徴抽出バックボーンとして使用します。 2番目に向けて、デュアルクラシファイアヘッドを使用した共同教育ベースのアプローチを使用します。そのうちの1つは、グラフニューラルネットワークに基づいています。提案されたアプローチは、ネットワークがそのようなターゲットドメインに適応するのがより簡単であると仮定して、ソースにより類似しているターゲットドメインから始めて一度に1つのドメインを適応させるシーケンシャル適応戦略を使用します。各ターゲットに適応した後、しきい値を超えるsoftmaxベースの信頼スコアを持つサンプルが疑似ソースに追加され、さまざまなドメインからの知識が集約されます。ただし、softmaxは信頼スコアとして完全に信頼できるわけではなく、多くの反復でトレーニングされた場合、信頼性の低いサンプルに対して高いスコアを生成する可能性があります。この影響を軽減するために、反復アプローチを採用します。このアプローチでは、ターゲット適応の反復を減らしますが、ターゲットドメインに対して複数回反復します。 Office-Home、Office-31、およびDomainNetデータセットの実験的評価は、既存の方法に比べて大幅な改善を示しています。最先端の方法に比べて、Office-Homeデータセットで平均10.7%の改善を達成しました。
Most domain adaptation methods focus on single-source-single-target adaptation settings. Multi-target domain adaptation is a powerful extension in which a single classifier is learned for multiple unlabeled target domains. To build a multi-target classifier, it is important to have: a feature extractor that generalizes well across domains; and effective aggregation of features from the labeled source and different unlabeled target domains. Towards the first, we use the recently popular Transformer as a feature extraction backbone. Towards the second, we use a co-teaching-based approach using a dual-classifier head, one of which is based on the graph neural network. The proposed approach uses a sequential adaptation strategy that adapts one domain at a time starting from the target domains that are more similar to the source, assuming that the network finds it easier to adapt to such target domains. After adapting on each target, samples with a softmax-based confidence score greater than a threshold are added to the pseudo-source, thus aggregating knowledge from different domains. However, softmax is not entirely trustworthy as a confidence score and may generate a high score for unreliable samples if trained for many iterations. To mitigate this effect, we adopt a reiterative approach, where we reduce target adaptation iterations, however, reiterate multiple times over the target domains. The experimental evaluation on the Office-Home, Office-31 and DomainNet datasets shows significant improvement over the existing methods. We have achieved 10.7% average improvement in Office-Home dataset over the state-of-art methods.
updated: Mon Jan 31 2022 21:51:37 GMT+0000 (UTC)
published: Thu Aug 26 2021 17:12:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト