新規クラス発見 (NCD) は、共通知識をクラス分離ラベル付きデータセットから別のラベルなしデータセットに移し、その中の新しいクラス (クラスター) を発見するモデルを学習することを目的としています。多くの方法、および精巧なトレーニング パイプラインと適切な目標が提案されており、NCD タスクのパフォーマンスが大幅に向上しています。これらすべてにもかかわらず、既存の方法では NCD 設定の本質を十分に活用していないことがわかりました。この目的のために、この論文では、対称カルバック・ライブラー発散(sKLD)に基づいて、NCDのクラス間およびクラス内の両方の制約をモデル化することを提案します。具体的には、クラス間 sKLD 制約を提案して、ラベル付けされたクラスとラベル付けされていないクラスの間の互いに素な関係を効果的に活用し、埋め込み空間内の異なるクラスの分離可能性を強制します。さらに、クラス内 sKLD 制約を提示して、サンプルとその拡張の間の関係を明示的に制約し、同時にトレーニング プロセスの安定性を確保します。一般的な CIFAR10、CIFAR100、および ImageNet ベンチマークで広範な実験を行い、CIFAR100-50 データセット分割で 3.5%/3.7% のクラスタリング精度の向上など、当社の方法が新しい最先端技術を確立し、大幅なパフォーマンス向上を実現できることを実証しました。以前の最先端の方法よりも、タスク認識/非依存評価プロトコルの下で。コードは https://github.com/FanZhichen/NCD-IIC で入手できます。
Novel class discovery (NCD) aims at learning a model that transfers the common knowledge from a class-disjoint labelled dataset to another unlabelled dataset and discovers new classes (clusters) within it. Many methods, as well as elaborate training pipelines and appropriate objectives, have been proposed and considerably boosted performance on NCD tasks. Despite all this, we find that the existing methods do not sufficiently take advantage of the essence of the NCD setting. To this end, in this paper, we propose to model both inter-class and intra-class constraints in NCD based on the symmetric Kullback-Leibler divergence (sKLD). Specifically, we propose an inter-class sKLD constraint to effectively exploit the disjoint relationship between labelled and unlabelled classes, enforcing the separability for different classes in the embedding space. In addition, we present an intra-class sKLD constraint to explicitly constrain the intra-relationship between a sample and its augmentations and ensure the stability of the training process at the same time. We conduct extensive experiments on the popular CIFAR10, CIFAR100 and ImageNet benchmarks and successfully demonstrate that our method can establish a new state of the art and can achieve significant performance improvements, e.g., 3.5%/3.7% clustering accuracy improvements on CIFAR100-50 dataset split under the task-aware/-agnostic evaluation protocol, over previous state-of-the-art methods. Code is available at https://github.com/FanZhichen/NCD-IIC.