arXiv reaDer
Few-shot Unsupervised Domain Adaptation with Image-to-class Sparse Similarity Encoding
この論文では、文献で十分に研究されていない、数ショットの教師なしドメイン適応(FS-UDA)と呼ばれる貴重な設定を調査します。この設定では、ソースドメインデータにラベルが付けられますが、カテゴリごとのショット数は少なく、ターゲットドメインデータにはラベルが付けられていません。 FS-UDA設定に対処するために、一般的なUDAモデルを開発して、次の2つの重要な問題を解決します。カテゴリごとの数ショットのラベル付きデータと、サポートセットとクエリセット間のドメイン適応です。私たちのモデルは、トレーニングが完了すると、同じソースドメインとターゲットドメインからのさまざまなFS-UDAタスクに適用できるという点で一般的です。最近のローカル記述子ベースの数ショット学習(FSL)に触発された、私たちの一般的なUDAモデルは、画像分類とドメイン適応のためのローカル記述子(LD)に完全に基づいています。類似性パターン(SP)と呼ばれる新しい概念を提案することにより、私たちのモデルは、以前のFSLメソッドでは無視されていたLDの空間的関係を効果的に考慮するだけでなく、学習した画像の類似性が必要なドメインアラインメントにより適したものになります。具体的には、新しいIMage-to-classスパース類似性エンコーディング(IMSE)メソッドを提案します。 SPを学習して、分類のためにローカルの識別情報を抽出し、その間、ドメイン適応のためにSPの共分散行列を調整します。また、ドメインの敵対的トレーニングとマルチスケールのローカル機能マッチングがLDで実行されます。マルチドメインベンチマークデータセットDomainNetで実施された広範な実験は、FS-UDAの新しい設定に対するIMSEの最先端のパフォーマンスを示しています。さらに、FSLの場合、IMSEは、miniImageNetの最近のほとんどのFSLメソッドよりも優れたパフォーマンスを示すこともできます。
This paper investigates a valuable setting called few-shot unsupervised domain adaptation (FS-UDA), which has not been sufficiently studied in the literature. In this setting, the source domain data are labelled, but with few-shot per category, while the target domain data are unlabelled. To address the FS-UDA setting, we develop a general UDA model to solve the following two key issues: the few-shot labeled data per category and the domain adaptation between support and query sets. Our model is general in that once trained it will be able to be applied to various FS-UDA tasks from the same source and target domains. Inspired by the recent local descriptor based few-shot learning (FSL), our general UDA model is fully built upon local descriptors (LDs) for image classification and domain adaptation. By proposing a novel concept called similarity patterns (SPs), our model not only effectively considers the spatial relationship of LDs that was ignored in previous FSL methods, but also makes the learned image similarity better serve the required domain alignment. Specifically, we propose a novel IMage-to-class sparse Similarity Encoding (IMSE) method. It learns SPs to extract the local discriminative information for classification and meanwhile aligns the covariance matrix of the SPs for domain adaptation. Also, domain adversarial training and multi-scale local feature matching are performed upon LDs. Extensive experiments conducted on a multi-domain benchmark dataset DomainNet demonstrates the state-of-the-art performance of our IMSE for the novel setting of FS-UDA. In addition, for FSL, our IMSE can also show better performance than most of recent FSL methods on miniImageNet.
updated: Fri Aug 06 2021 06:15:02 GMT+0000 (UTC)
published: Fri Aug 06 2021 06:15:02 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト