1クラスの目新しさの検出は、予想される通常のインスタンスに適合しない異常なインスタンスを識別することです。このペーパーでは、エンコーダーデコーダーエンコーダーパイプラインに基づく生成的敵対的ネットワーク(GAN)が検出に使用され、最先端のパフォーマンスを実現します。ただし、ディープニューラルネットワークはパラメータが多すぎて、リソースが限られたデバイスに展開できません。したがって、コンパクトで高速な新規性検出ネットワークを学習するために、GANを使用したプログレッシブ知識蒸留(PKDGAN)が提案されています。 P-KDGANは、教師から生徒に知識を転送するために設計された蒸留損失によって2つの標準GANを接続する新しい試みです。知識蒸留の段階的学習は、2段階のアプローチであり、学生のGANのパフォーマンスを継続的に改善し、シングルステップの方法よりも優れたパフォーマンスを実現します。最初のステップでは、生徒のGANは、事前にトレーニングされた教師GANを固定ウェイトで指導することにより、教師から基本的な知識を完全に学習します。 2番目のステップでは、パフォーマンスと安定性をさらに向上させるために、知識の豊富な教師と生徒のGANに共同ファイントレーニングが採用されています。 CIFAR-10、MNIST、およびFMNISTの実験結果は、24.45:1、311.11:1、および700の比率で計算を圧縮すると、本手法により学生GANのパフォーマンスが2.44%、1.77%、および1.73%向上することを示しています。 :1、それぞれ。
One-class novelty detection is to identify anomalous instances that do not conform to the expected normal instances. In this paper, the Generative Adversarial Networks (GANs) based on encoder-decoder-encoder pipeline are used for detection and achieve state-of-the-art performance. However, deep neural networks are too over-parameterized to deploy on resource-limited devices. Therefore, Progressive Knowledge Distillation with GANs (PKDGAN) is proposed to learn compact and fast novelty detection networks. The P-KDGAN is a novel attempt to connect two standard GANs by the designed distillation loss for transferring knowledge from the teacher to the student. The progressive learning of knowledge distillation is a two-step approach that continuously improves the performance of the student GAN and achieves better performance than single step methods. In the first step, the student GAN learns the basic knowledge totally from the teacher via guiding of the pretrained teacher GAN with fixed weights. In the second step, joint fine-training is adopted for the knowledgeable teacher and student GANs to further improve the performance and stability. The experimental results on CIFAR-10, MNIST, and FMNIST show that our method improves the performance of the student GAN by 2.44%, 1.77%, and 1.73% when compressing the computation at ratios of 24.45:1, 311.11:1, and 700:1, respectively.