arXiv reaDer
LeanConvNets: Low-cost Yet Effective Convolutional Neural Networks
 畳み込みニューラルネットワーク(CNN)は、音声認識、コンピュータービジョン、および高次元データを含むその他の分野の機械学習タスクを解決するために不可欠になっています。 CNNは、コンパクトにサポートされたステンシルを備えた空間畳み込み演算子を含むネットワークを使用して、入力フィーチャをフィルタリングします。実際には、入力データと非表示の特徴は多数のチャネルで構成されており、ほとんどのCNNでは畳み込み演算子によって完全に結合されています。この結合は、トレーニングおよび予測フェーズで莫大な計算コストにつながります。このホワイトペーパーでは、既存のCNNで完全に結合された演算子をスパース化することで得られるLeanConvNetを紹介します。私たちの目標は、重み、浮動小数点演算、待ち時間を減らし、精度の損失を最小限に抑えて、CNNの効率を改善することです。無駄のない畳み込み演算子には、ネットワークの精度と計算コストのトレードオフを制御するパラメーターの調整が含まれます。これらの畳み込みは、広範囲の既存のネットワークで使用でき、残余ネットワーク(ResNet)での使用を例証しています。画像分類とセマンティックセグメンテーションからの一連のベンチマーク問題を使用して、結果として得られるLeanConvNetの精度が最先端のネットワークに近く、計算量が少ないことを実証します。私たちのテストでは、ほとんどの場合、ResNetのリーンバージョンは、MobileNetやShuffleNetなどの同等の縮小アーキテクチャよりも優れています。
Convolutional Neural Networks (CNNs) have become indispensable for solving machine learning tasks in speech recognition, computer vision, and other areas that involve high-dimensional data. A CNN filters the input feature using a network containing spatial convolution operators with compactly supported stencils. In practice, the input data and the hidden features consist of a large number of channels, which in most CNNs are fully coupled by the convolution operators. This coupling leads to immense computational cost in the training and prediction phase. In this paper, we introduce LeanConvNets that are derived by sparsifying fully-coupled operators in existing CNNs. Our goal is to improve the efficiency of CNNs by reducing the number of weights, floating point operations and latency times, with minimal loss of accuracy. Our lean convolution operators involve tuning parameters that controls the trade-off between the network's accuracy and computational costs. These convolutions can be used in a wide range of existing networks, and we exemplify their use in residual networks (ResNets). Using a range of benchmark problems from image classification and semantic segmentation, we demonstrate that the resulting LeanConvNet's accuracy is close to state-of-the-art networks while being computationally less expensive. In our tests, the lean versions of ResNet in most cases outperform comparable reduced architectures such as MobileNets and ShuffleNets.
updated: Wed Feb 12 2020 10:50:12 GMT+0000 (UTC)
published: Tue Oct 29 2019 09:51:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト