arXiv reaDer
Bipolar Morphological Neural Networks: Convolution Without Multiplication
 本論文では、新規な双極形態ニューロンと双極形態層モデルを紹介します。モデルは、ニューロン内の加算、減算、最大値、指数および対数などの演算のみをレイヤーの活性化関数として使用します。以前に導入された形態ニューラルネットワークとは異なり、提案されたモデルは古典的な計算を近似し、より良い認識結果を示します。また、双極形態ネットワークをトレーニングするレイヤーごとのアプローチも提案します。これは、より高い精度を得るために、個別のニューロンのインクリメンタルアプローチにさらに発展させることができます。これらのアプローチは両方とも、特別なトレーニングアルゴリズムを必要とせず、さまざまな勾配降下法を使用できます。提案モデルの効率を実証するために、古典的な畳み込みニューラルネットワークを検討し、事前にトレーニングされた畳み込み層を双極形態層に変換します。 MNISTシンボルとMRZシンボルの認識に関する実験では、変換とトレーニング後の精度の低下が中程度であることがわかるため、バイポーラニューロンモデルは推論を高速化し、モバイルおよび組み込みシステムで非常に役立ちます。
In the paper we introduce a novel bipolar morphological neuron and bipolar morphological layer models. The models use only such operations as addition, subtraction and maximum inside the neuron and exponent and logarithm as activation functions for the layer. The proposed models unlike previously introduced morphological neural networks approximate the classical computations and show better recognition results. We also propose layer-by-layer approach to train the bipolar morphological networks, which can be further developed to an incremental approach for separate neurons to get higher accuracy. Both these approaches do not require special training algorithms and can use a variety of gradient descent methods. To demonstrate efficiency of the proposed model we consider classical convolutional neural networks and convert the pre-trained convolutional layers to the bipolar morphological layers. Seeing that the experiments on recognition of MNIST and MRZ symbols show only moderate decrease of accuracy after conversion and training, bipolar neuron model can provide faster inference and be very useful in mobile and embedded systems.
updated: Tue Nov 05 2019 17:57:35 GMT+0000 (UTC)
published: Tue Nov 05 2019 17:57:35 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト