さまざまな下位カテゴリ間の微妙な違いのため、きめ細かいカテゴリを認識することは依然として困難な作業であり、その結果、豊富な注釈付きサンプルが必要になります。データを大量に消費する問題を軽減するために、ウィークショット学習と呼ばれる基本カテゴリのクリーンなセットをサポートして、Webデータから新しいカテゴリを学習する問題を検討します。この設定では、基本カテゴリから新規カテゴリにペアワイズ意味的類似性を転送するためのSimTransと呼ばれる方法を提案します。具体的には、最初にクリーンなデータで類似性ネットをトレーニングし、次に転送された類似性を活用して、2つのシンプルで効果的な戦略を使用してWebトレーニングデータのノイズを除去します。さらに、類似性の伝達可能性を高めるために、類似性ネットに敵対的損失を適用します。包括的な実験により、ウィークショット設定とSimTransメソッドの有効性が実証されています。データセットとコードはhttps://github.com/bcmi/SimTrans-Weak-Shot-Classificationで入手できます。
Recognizing fine-grained categories remains a challenging task, due to the subtle distinctions among different subordinate categories, which results in the need of abundant annotated samples. To alleviate the data-hungry problem, we consider the problem of learning novel categories from web data with the support of a clean set of base categories, which is referred to as weak-shot learning. In this setting, we propose a method called SimTrans to transfer pairwise semantic similarity from base categories to novel categories. Specifically, we firstly train a similarity net on clean data, and then leverage the transferred similarity to denoise web training data using two simple yet effective strategies. In addition, we apply adversarial loss on similarity net to enhance the transferability of similarity. Comprehensive experiments demonstrate the effectiveness of our weak-shot setting and our SimTrans method. Datasets and codes are available at https://github.com/bcmi/SimTrans-Weak-Shot-Classification.