arXiv reaDer
A Semantics-Guided Class Imbalance Learning Model for Zero-Shot Classification
  ゼロショット分類(ZSC)は、学習したモデルに、視覚モダリティとセマンティックモダリティ間の相互作用を構築することにより、新規クラスから視覚インスタンスを認識する機能を備えています。従来の画像分類とは対照的に、ZSCはクラスレベルの知識伝達能力に関心があるため、クラス不均衡の問題を簡単に抱えています。現実の世界では、クラスサンプルはロングテール分布に従っており、サンプルが少ないサンプルクラスの識別情報は、従来のバッチベースのトレーニング方法では関連する未表示のクラスに転送されにくいため、全体的な一般化が低下します能力がたくさん。 ZSCのクラスの不均衡の問題を緩和するために、サンプルバランスの取れたトレーニングプロセスを提案し、すべてのトレーニングクラスが学習したモデルに等しく貢献するようにします。具体的には、すべてのトレーニングクラスの各クラスから同じ数の画像をランダムに選択してトレーニングバッチを形成し、サンプル不足クラスが各反復中に十分なサンプルを持つクラスと等しく貢献するようにします。同じクラスのインスタンスはクラスの代表性が異なることを考慮して、クラスに基づいて選択されたサンプルに異なる重みを分散することにより、次の視覚的相互作用プロセスの識別クラス視覚プロトタイプを取得するために、効率的なセマンティクスガイド機能融合モデルをさらに開発します代表性。従来のZSC(TZSC)および一般化されたZSC(GZSC)の両方のタスクの3つの不均衡なZSCベンチマークデータセットに関する広範な実験は、特にサンプル不足のカテゴリに密接に関連する未表示のカテゴリに対して、アプローチが有望な結果を達成することを示しています。
Zero-Shot Classification (ZSC) equips the learned model with the ability to recognize the visual instances from the novel classes via constructing the interactions between the visual and the semantic modalities. In contrast to the traditional image classification, ZSC is easily suffered from the class-imbalance issue since it is more concerned with the class-level knowledge transfer capability. In the real world, the class samples follow a long-tailed distribution, and the discriminative information in the sample-scarce seen classes is hard to be transferred to the related unseen classes in the traditional batch-based training manner, which degrades the overall generalization ability a lot. Towards alleviating the class imbalance issue in ZSC, we propose a sample-balanced training process to encourage all training classes to contribute equally to the learned model. Specifically, we randomly select the same number of images from each class across all training classes to form a training batch to ensure that the sample-scarce classes contribute equally as those classes with sufficient samples during each iteration. Considering that the instances from the same class differ in class representativeness, we further develop an efficient semantics-guided feature fusion model to obtain discriminative class visual prototype for the following visual-semantic interaction process via distributing different weights to the selected samples based on their class representativeness. Extensive experiments on three imbalanced ZSC benchmark datasets for both the Traditional ZSC (TZSC) and the Generalized ZSC (GZSC) tasks demonstrate our approach achieves promising results especially for the unseen categories those are closely related to the sample-scarce seen categories.
updated: Mon Aug 26 2019 15:38:33 GMT+0000 (UTC)
published: Mon Aug 26 2019 15:38:33 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト