arXiv reaDer
DRNet: Dissect and Reconstruct the Convolutional Neural Network via Interpretable Manners
 畳み込みニューラルネットワーク(ConvNet)は、実生活で広く使用されています。人々は通常、一定数のクラスで事前にトレーニングされたConvNetを使用します。ただし、さまざまなアプリケーションシナリオでは、通常、すべてのクラスが必要というわけではありません。つまり、これらのタスクを処理する場合、ConvNetは冗長です。このペーパーでは、ConvNetチャネルの冗長性に焦点を当てています。私たちは斬新なアイデアを提案しました:解釈可能な方法を使用して、すべての単一クラスの最も重要なチャネルを見つけ(分析)、必要なクラスに応じてチャネルを動的に実行します(再構築)。 CIFAR-10で事前トレーニングされたVGG16の場合、平均2クラスサブタスクに対して11%のパラメーターのみを実行し、精度の損失はほとんどありません。 ImageNetで事前にトレーニングされたVGG16の場合、2つのクラスのサブタスクの平均精度が14.29%向上します。さらに、分析により、この方法がチャネルのセマンティックな意味をキャプチャし、ConvNetsのサブタスクによりターゲットを絞ったコンテキスト情報を使用することが示されています。
Convolutional neural networks (ConvNets) are widely used in real life. People usually use ConvNets which pre-trained on a fixed number of classes. However, for different application scenarios, we usually do not need all of the classes, which means ConvNets are redundant when dealing with these tasks. This paper focuses on the redundancy of ConvNet channels. We proposed a novel idea: using an interpretable manner to find the most important channels for every single class (dissect), and dynamically run channels according to classes in need (reconstruct). For VGG16 pre-trained on CIFAR-10, we only run 11% parameters for two-classes sub-tasks on average with negligible accuracy loss. For VGG16 pre-trained on ImageNet, our method averagely gains 14.29% accuracy promotion for two-classes sub-tasks. In addition, analysis show that our method captures some semantic meanings of channels, and uses the context information more targeted for sub-tasks of ConvNets.
updated: Wed Feb 26 2020 07:41:37 GMT+0000 (UTC)
published: Wed Nov 20 2019 03:52:28 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト