arXiv reaDer
Feature Fusion for Online Mutual Knowledge Distillation
並列ニューラルネットワークから生成された特徴マップを組み合わせるフュージョンモジュールを通じて強力な分類器を効率的にトレーニングする、特徴融合学習(FFL)という名前の学習フレームワークを提案します。具体的には、多数の並列ニューラルネットワークをサブネットワークとしてトレーニングし、フュージョンモジュールを使用して各サブネットワークの特徴マップを組み合わせて、より意味のある特徴マップを作成します。融合機能マップは、全体的な分類のために融合分類子に渡されます。既存の機能融合方法とは異なり、私たちのフレームワークでは、サブネットワーク分類子の集合が知識を融合分類子に転送し、融合分類子がその知識を各サブネットワークに戻し、相互にオンライン知識抽出の方法で互いに教えます。この相互教育システムは、融合分類器のパフォーマンスを向上させるだけでなく、各サブネットワークでパフォーマンスを向上させます。さらに、サブネットワークごとに異なるタイプのネットワークを使用できるため、このモデルはより有益です。 CIFAR-10、CIFAR-100、ImageNetなどの複数のデータセットに対してさまざまな実験を行い、サブネットワークと融合分類器の両方のパフォーマンスに関して、他の方法よりも効果的であることを証明しました。
We propose a learning framework named Feature Fusion Learning (FFL) that efficiently trains a powerful classifier through a fusion module which combines the feature maps generated from parallel neural networks. Specifically, we train a number of parallel neural networks as sub-networks, then we combine the feature maps from each sub-network using a fusion module to create a more meaningful feature map. The fused feature map is passed into the fused classifier for overall classification. Unlike existing feature fusion methods, in our framework, an ensemble of sub-network classifiers transfers its knowledge to the fused classifier and then the fused classifier delivers its knowledge back to each sub-network, mutually teaching one another in an online-knowledge distillation manner. This mutually teaching system not only improves the performance of the fused classifier but also obtains performance gain in each sub-network. Moreover, our model is more beneficial because different types of network can be used for each sub-network. We have performed a variety of experiments on multiple datasets such as CIFAR-10, CIFAR-100 and ImageNet and proved that our method is more effective than other alternative methods in terms of performance of both sub-networks and the fused classifier.
updated: Tue Jul 21 2020 11:51:14 GMT+0000 (UTC)
published: Fri Apr 19 2019 03:18:56 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト