arXiv reaDer
SpecNet: Spectral Domain Convolutional Neural Network
ほとんどの畳み込みニューラルネットワーク(CNN)アーキテクチャのメモリ消費量は、ネットワークの深さが増すにつれて急速に増加します。これは、メモリ、組み込みシステム、およびモバイルデバイスが限られている最新のGPUでの効率的なネットワークトレーニングの主な制約です。いくつかの研究は、(畳み込み層の後に生成された)特徴マップがこのメモリ問題の主なボトルネックであることを示しています。多くの場合、これらの特徴マップは、エネルギーがスペクトル領域に集中しているという意味で自然写真を模倣しています。スペクトルドメインにCNNアーキテクチャを組み込むことは、トレーニングプロセスを加速するために広く利用されていますが、スペクトルドメインを使用してメモリフットプリントを削減することも可能であることを示しています。これは、両方を実行するスペクトルドメイン畳み込みニューラルネットワーク(SpecNet)と呼ばれる方法です。スペクトル領域での畳み込みと活性化操作。 SpecNetのパフォーマンスは、3つの競合するオブジェクト認識ベンチマークタスク(CIFAR-10、SVHN、およびImageNet)で評価され、いくつかの最先端の実装と比較されます。全体として、SpecNetは、テストされたすべてのネットワークのパフォーマンスを大幅に低下させることなく、メモリ消費量を約60%削減できます。
The memory consumption of most Convolutional Neural Network (CNN) architectures grows rapidly with increasing depth of the network, which is a major constraint for efficient network training on modern GPUs with limited memory, embedded systems, and mobile devices. Several studies show that the feature maps (as generated after the convolutional layers) are the main bottleneck in this memory problem. Often, these feature maps mimic natural photographs in the sense that their energy is concentrated in the spectral domain. Although embedding CNN architectures in the spectral domain is widely exploited to accelerate the training process, we demonstrate that it is also possible to use the spectral domain to reduce the memory footprint, a method we call Spectral Domain Convolutional Neural Network (SpecNet) that performs both the convolution and the activation operations in the spectral domain. The performance of SpecNet is evaluated on three competitive object recognition benchmark tasks (CIFAR-10, SVHN, and ImageNet), and compared with several state-of-the-art implementations. Overall, SpecNet is able to reduce memory consumption by about 60% without significant loss of performance for all tested networks.
updated: Mon Feb 08 2021 23:36:39 GMT+0000 (UTC)
published: Mon May 27 2019 00:44:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト