arXiv reaDer
しきい値:密に接続された畳み込みネットワーク用のプルーニングツール
Threshold: Pruning Tool for Densely Connected Convolutional Networks
ディープニューラルネットワークは、コンピュータビジョンの分野で大きな進歩を遂げました。最近の研究では、ニューラルネットワークアーキテクチャの深さ、幅、ショートカット接続がパフォーマンスに重要な役割を果たしていることが示されています。最先端のニューラルネットワークアーキテクチャの1つであるDenseNetは、密な接続を通じて優れた収束率を達成しています。ただし、メモリの使用量には依然として明らかな欠点があります。この論文では、MOSFETのスレッショルド電圧の原理を参照する新しいタイプのプルーニングツールであるスレッショルドを紹介します。この作業では、この方法を使用して、さまざまな深さのブロックをさまざまな方法で接続し、メモリの使用量を削減します。これは、ThresholdNetとして示されます。 FLOPとメモリ使用量についてThresholdNetを他の異なるネットワークと比較すると、実験では、ThresholdNetのメモリが元のDenseNetより70%少ないことが示されています。
Deep neural networks have made significant progress in the field of computer vision. Recent studies have shown that depth, width and shortcut connections of neural network architectures play a crucial role in their performance. One of the most advanced neural network architectures, DenseNet, has achieved excellent convergence rates through dense connections. However, it still has obvious shortcomings in the usage of amount of memory. In this paper, we introduce a new type of pruning tool, threshold, which refers to the principle of the threshold voltage in MOSFET. This work employs this method to connect blocks of different depths in different ways to reduce the usage of memory. It is denoted as ThresholdNet. We compare ThresholdNet with other different networks for FLOPs and memory usage, and the experiments show that ThresholdNet is 70% less memory than that of the original DenseNet.
updated: Sat Aug 28 2021 08:48:31 GMT+0000 (UTC)
published: Sat Aug 28 2021 08:48:31 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト