arXiv reaDer
オンライン知識蒸留のためのチャネル自己監視
Channel Self-Supervision for Online Knowledge Distillation
最近、研究者はオンライン知識蒸留への関心の高まりを示しています。ワンステージでエンドツーエンドのトレーニング方法を採用したオンライン知識蒸留では、トレーニングに複数のピアモデルの集約された中間予測を使用します。ただし、強力な教師モデルがない場合は、グループピア間の均一性の問題が発生し、グループ蒸留の有効性に悪影響を与える可能性があります。本論文では、均質化問題を軽減するために入力、ターゲット、およびネットワークの観点から多様性を構築する、新しいオンライン知識蒸留方法であるオンライン知識蒸留のためのチャネル自己監視(CSS)を提案します。具体的には、デュアルネットワークマルチブランチ構造を構築し、自己監視学習を通じてブランチ間の多様性を強化し、機能レベルの変換を採用し、対応するラベルを拡張します。一方、デュアルネットワーク構造は、蒸留中のホモジナイゼーションの問題に抵抗するために、独立したパラメータのより大きなスペースを持っています。 CIFAR-100での広範な定量実験は、私たちの方法がOKDDipよりも多様性を提供し、PCLなどの最先端技術よりもかなりのパフォーマンス向上をもたらすことを示しています。 3つのきめ細かいデータセット(StanfordDogs、StanfordCars、CUB-200-211)の結果も、私たちのアプローチの重要な一般化機能を示しています。
Recently, researchers have shown an increased interest in the online knowledge distillation. Adopting an one-stage and end-to-end training fashion, online knowledge distillation uses aggregated intermediated predictions of multiple peer models for training. However, the absence of a powerful teacher model may result in the homogeneity problem between group peers, affecting the effectiveness of group distillation adversely. In this paper, we propose a novel online knowledge distillation method, Channel Self-Supervision for Online Knowledge Distillation (CSS), which structures diversity in terms of input, target, and network to alleviate the homogenization problem. Specifically, we construct a dual-network multi-branch structure and enhance inter-branch diversity through self-supervised learning, adopting the feature-level transformation and augmenting the corresponding labels. Meanwhile, the dual network structure has a larger space of independent parameters to resist the homogenization problem during distillation. Extensive quantitative experiments on CIFAR-100 illustrate that our method provides greater diversity than OKDDip and we also give pretty performance improvement, even over the state-of-the-art such as PCL. The results on three fine-grained datasets (StanfordDogs, StanfordCars, CUB-200-211) also show the significant generalization capability of our approach.
updated: Wed Mar 23 2022 10:55:05 GMT+0000 (UTC)
published: Tue Mar 22 2022 12:35:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト