arXiv reaDer
ClonalNet: Classifying Better by Focusing on Confusing Categories
既存の神経分類ネットワークは、カテゴリデータの表現が簡単なため、主にワンホットエンコーディングを採用しています。ただし、ワンホット表現はカテゴリ間の相関を無視するため、一般化が不十分になる可能性があります。ここでは、事前にトレーニングされたベースラインネットワークが、画像を誤って予測しているにもかかわらず、ターゲット画像領域に注意を払っていることを観察し、どのカテゴリがベースラインを混乱させているかを明らかにします。この観察結果は、カテゴリ間の相関関係を検討する動機になります。したがって、事前にトレーニングされたベースラインから派生した紛らわしいカテゴリを区別することを学習する、ClonalNetという名前のクローンネットワークを提案します。 ClonalNetアーキテクチャは、ベースラインアーキテクチャと同一またはそれよりも小さくすることができます。同一の場合、ClonalNetはベースラインのクローンバージョンですが、重みを共有しません。小さい場合、ClonalNetのトレーニングプロセスは、標準的な知識蒸留のトレーニングプロセスに似ています。知識蒸留との違いは、ClonalNetを最適化するためにフォーカシングピッキング損失を設計することです。この新たな損失により、ClonalNetは混乱を招くカテゴリに集中し、ベースライン参照を使用してグラウンドトゥルースラベルでより信頼性の高い予測を行うようになります。実験によると、ClonalNetはベースラインネットワークと知識の蒸留を大幅に上回っています。
Existing neural classification networks predominately adopt one-hot encoding due to its simplicity in representing categorical data. However, the one-hot representation neglects inter-category correlations, which may result in poor generalization. Herein, we observe that a pre-trained baseline network has paid attention to the target image region even though it incorrectly predicts the image, revealing which categories confuse the baseline. This observation motivates us to consider inter-category correlations. Therefore, we propose a clonal network, named ClonalNet, which learns to discriminate between confusing categories derived from the pre-trained baseline. The ClonalNet architecture can be identical or smaller than the baseline architecture. When identical, ClonalNet is a clonal version of the baseline but does not share weights. When smaller, the training process of ClonalNet resembles that of the standard knowledge distillation. The difference from knowledge distillation is that we design a focusing-picking loss to optimize ClonalNet. This novel loss enforces ClonalNet to concentrate on confusing categories and make more confident predictions on ground-truth labels with the baseline reference. Experiments show that ClonalNet significantly outperforms baseline networks and knowledge distillation.
updated: Thu Oct 14 2021 12:22:59 GMT+0000 (UTC)
published: Thu Oct 14 2021 12:22:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト