arXiv reaDer
連続時間プーリングによる受容野サイズの最適化
Receptive Field Size Optimization with Continuous Time Pooling
プーリング操作は、畳み込みニューラルネットワークの基本要素です。これらの要素はニューロンの受容野を生成します。この受容野では、局所的な摂動が出力のアクティブ化に与える影響を最小限に抑え、ネットワークの堅牢性と不変性を高めます。この論文では、最も一般的に適用される方法である最大プーリングの変更バージョンを紹介します。ここで、プーリングは理論的には連続時間微分方程式に置き換えられ、生物学的受容野により類似した位置に敏感なプーリング操作を生成します。 GPUに理想的に適合する離散演算を使用して、この連続法を数値的に近似する方法を示します。私たちのアプローチでは、カーネルサイズは、連続値パラメーターである拡散強度に置き換えられます。このようにして、勾配降下アルゴリズムによって最適化できます。一般的に適用されるネットワークアーキテクチャとデータセットを使用して、精度と計算の必要性に対する継続的なプーリングの影響を評価します。
The pooling operation is a cornerstone element of convolutional neural networks. These elements generate receptive fields for neurons, in which local perturbations should have minimal effect on the output activations, increasing robustness and invariance of the network. In this paper we will present an altered version of the most commonly applied method, maximum pooling, where pooling in theory is substituted by a continuous time differential equation, which generates a location sensitive pooling operation, more similar to biological receptive fields. We will present how this continuous method can be approximated numerically using discrete operations which fit ideally on a GPU. In our approach the kernel size is substituted by diffusion strength which is a continuous valued parameter, this way it can be optimized by gradient descent algorithms. We will evaluate the effect of continuous pooling on accuracy and computational need using commonly applied network architectures and datasets.
updated: Mon Nov 02 2020 10:21:51 GMT+0000 (UTC)
published: Mon Nov 02 2020 10:21:51 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト