arXiv reaDer
従来の畳み込みニューラルネットワークに対する熱帯畳み込みの代替手法
An Alternative Practice of Tropical Convolution to Traditional Convolutional Neural Networks
畳み込みニューラルネットワーク(CNN)は、多くの機械学習分野で使用されています。実際のアプリケーションでは、畳み込みニューラルネットワークの計算コストは、ネットワークの深化とデータ量の増加に伴って高くなることがよくあります。これは主に、畳み込み演算における浮動小数点数の大量の乗算演算が原因です。乗算の量を減らすために、従来の畳み込み層の乗算と加算がそれぞれ加算と最小/最大演算に置き換えられた熱帯畳み込みに基づいて構築された、熱帯畳み込みニューラルネットワーク(TCNN)と呼ばれる新しいタイプのCNNを提案します。さらに、熱帯畳み込み演算子は本質的に非線形演算子であるため、TCNNは従来のCNNよりも高い非線形フィッティング能力を備えていると予想されます。実験では、同様のサイズの従来のCNNと比較して、画像分類タスク用のTCNNのいくつかの異なるアーキテクチャをテストおよび分析します。結果は、TCNNがMNISTおよびCIFAR10画像データセットの通常の畳み込み層よりも高い表現力を達成できることを示しています。さまざまなノイズ環境では、TCNNと通常のCNNの堅牢性に長所と短所があります。
Convolutional neural networks (CNNs) have been used in many machine learning fields. In practical applications, the computational cost of convolutional neural networks is often high with the deepening of the network and the growth of data volume, mostly due to a large amount of multiplication operations of floating-point numbers in convolution operations. To reduce the amount of multiplications, we propose a new type of CNNs called Tropical Convolutional Neural Networks (TCNNs) which are built on tropical convolutions in which the multiplications and additions in conventional convolutional layers are replaced by additions and min/max operations respectively. In addition, since tropical convolution operators are essentially nonlinear operators, we expect TCNNs to have higher nonlinear fitting ability than conventional CNNs. In the experiments, we test and analyze several different architectures of TCNNs for image classification tasks in comparison with similar-sized conventional CNNs. The results show that TCNN can achieve higher expressive power than ordinary convolutional layers on the MNIST and CIFAR10 image data set. In different noise environments, there are wins and losses in the robustness of TCNN and ordinary CNNs.
updated: Wed Mar 03 2021 00:13:30 GMT+0000 (UTC)
published: Wed Mar 03 2021 00:13:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト