arXiv reaDer
ThresholdNet:密に接続された畳み込みネットワーク用のプルーニングツール
ThresholdNet: Pruning Tool for Densely Connected Convolutional Networks
ディープニューラルネットワークは、コンピュータビジョンの分野で大きな進歩を遂げました。最近の研究では、ニューラルネットワークアーキテクチャの深さ、幅、ショートカット接続がパフォーマンスに重要な役割を果たしていることが示されています。最先端のニューラルネットワークアーキテクチャの1つであるDenseNetは、密な接続を通じて優れた収束率を達成しています。ただし、メモリの使用量には依然として明らかな欠点があります。この論文では、MOSFETのスレッショルド電圧の原理を参照する新しいタイプのプルーニングツールであるスレッショルドを紹介します。この作業では、この方法を使用して、さまざまな深さのブロックをさまざまな方法で接続し、メモリの使用量を削減します。これは、ThresholdNetとして示されます。 CIFAR10のデータセットでThresholdNetおよびその他のさまざまなネットワークを評価します。実験によると、HarDNetはDenseNetの2倍の速度であり、これに基づいて、ThresholdNetはHarDNetよりも10%速く、エラー率は10%低くなっています。
Deep neural networks have made significant progress in the field of computer vision. Recent studies have shown that depth, width and shortcut connections of neural network architectures play a crucial role in their performance. One of the most advanced neural network architectures, DenseNet, has achieved excellent convergence rates through dense connections. However, it still has obvious shortcomings in the usage of amount of memory. In this paper, we introduce a new type of pruning tool, threshold, which refers to the principle of the threshold voltage in MOSFET. This work employs this method to connect blocks of different depths in different ways to reduce the usage of memory. It is denoted as ThresholdNet. We evaluate ThresholdNet and other different networks on datasets of CIFAR10. Experiments show that HarDNet is twice as fast as DenseNet, and on this basis, ThresholdNet is 10% faster and 10% lower error rate than HarDNet.
updated: Tue Aug 31 2021 22:02:22 GMT+0000 (UTC)
published: Sat Aug 28 2021 08:48:31 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト