arXiv reaDer
CIM:少数ショット分類のためのクラスに関係のないマッピング
CIM: Class-Irrelevant Mapping for Few-Shot Classification
少数ショット分類(FSC)は、近年最も懸念されているホットな問題の1つです。一般的な設定は、次の2つのフェーズで構成されます。(1)基本データ(大量のラベル付きサンプルがある)を使用して特徴抽出モデル(FEM)を事前トレーニングします。 (2)FEMを使用して、新規データの特徴を抽出し(ラベル付けされたサンプルが少なく、ベースデータとはまったく異なるカテゴリ)、設計予定の分類器で分類します。事前にトレーニングされたFEMの新しいデータへの適応性は、新しい機能の精度を決定し、それによって最終的な分類パフォーマンスに影響を与えます。この目的のために、事前にトレーニングされたFEMを評価する方法は、FSCコミュニティで最も重要な焦点です。従来のクラスアクティベートマッピング(CAM)ベースのメソッドは、重み付けされた特徴マップをオーバーレイすることでこれを実現できるようです。ただし、FSCの特殊性(たとえば、事前にトレーニングされたFEMを使用して新しい特徴を抽出するときにバックプロパゲーションがない)のため、新しいクラスで特徴マップをアクティブ化することはできません。この課題に対処するために、Class-Irrelevant Mapping(CIM)と呼ばれるシンプルで柔軟な方法を提案します。具体的には、まず、辞書学習理論を紹介し、特徴マップのチャネルを辞書のベースとして表示します。次に、特徴マップを利用して画像の特徴ベクトルを適合させ、対応するチャネルの重みを実現します。最後に、視覚化のために重み付けされた特徴マップをオーバーラップして、新しいデータで事前にトレーニングされたFEMの能力を評価します。さまざまなモデルの評価でCIMを公正に使用するために、Feature Localization Accuracy(FLA)と呼ばれる新しい測定指標を提案します。実験では、最初に通常のタスクでCIMとCAMを比較し、優れたパフォーマンスを実現します。次に、CIMを使用して、分類結果を考慮せずにいくつかの従来のFSCフレームワークを評価し、それらについて説明します。
Few-shot classification (FSC) is one of the most concerned hot issues in recent years. The general setting consists of two phases: (1) Pre-train a feature extraction model (FEM) with base data (has large amounts of labeled samples). (2) Use the FEM to extract the features of novel data (with few labeled samples and totally different categories from base data), then classify them with the to-be-designed classifier. The adaptability of pre-trained FEM to novel data determines the accuracy of novel features, thereby affecting the final classification performances. To this end, how to appraise the pre-trained FEM is the most crucial focus in the FSC community. It sounds like traditional Class Activate Mapping (CAM) based methods can achieve this by overlaying weighted feature maps. However, due to the particularity of FSC (e.g., there is no backpropagation when using the pre-trained FEM to extract novel features), we cannot activate the feature map with the novel classes. To address this challenge, we propose a simple, flexible method, dubbed as Class-Irrelevant Mapping (CIM). Specifically, first, we introduce dictionary learning theory and view the channels of the feature map as the bases in a dictionary. Then we utilize the feature map to fit the feature vector of an image to achieve the corresponding channel weights. Finally, we overlap the weighted feature map for visualization to appraise the ability of pre-trained FEM on novel data. For fair use of CIM in evaluating different models, we propose a new measurement index, called Feature Localization Accuracy (FLA). In experiments, we first compare our CIM with CAM in regular tasks and achieve outstanding performances. Next, we use our CIM to appraise several classical FSC frameworks without considering the classification results and discuss them.
updated: Tue Sep 07 2021 03:26:24 GMT+0000 (UTC)
published: Tue Sep 07 2021 03:26:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト