arXiv reaDer
プーリング操作の代替としての多層ニューラルネットワーク
Multi Layer Neural Networks as Replacement for Pooling Operations
低コストで計算でき、データ削減のための線形または非線形伝達関数として機能するプーリング操作は、ほとんどすべての最新のニューラルネットワークに見られます。パラメータを変更することでさまざまな関数を選択できる関数を提供することは言うまでもなく、数え切れないほどの最新のアプローチが、共通の最大値選択および平均値操作の置き換えにすでに取り組んでいます。これらのプーリング関数のパラメーターを推定するために、追加のニューラルネットワークが使用されます。その結果、プーリングレイヤーでは、モデル全体の複雑さを増すために補足パラメーターが必要になる場合があります。この作業では、モデルの複雑さを増すことなく、1つのパーセプトロンをプーリング操作としてすでに効果的に使用できることを示します。この種のプーリングでは、データを再構築することにより、プーリング操作として多層ニューラルネットワークをモデルに直接統合でき、その結果、複雑なプーリング操作を学習できます。テンソル畳み込みへのアプローチをプーリング操作としてのストライドと比較し、私たちのアプローチが効果的であり、複雑さを軽減することを示します。複数のパーセプトロンと組み合わせたデータの再構築により、私たちのアプローチをアップスケーリングに使用できるようになり、セマンティックセグメンテーションで転置畳み込みに利用できるようになります。
Pooling operations, which can be calculated at low cost and serve as a linear or nonlinear transfer function for data reduction, are found in almost every modern neural network. Countless modern approaches have already tackled replacing the common maximum value selection and mean value operations, not to mention providing a function that allows different functions to be selected through changing parameters. Additional neural networks are used to estimate the parameters of these pooling functions.Consequently, pooling layers may require supplementary parameters to increase the complexity of the whole model. In this work, we show that one perceptron can already be used effectively as a pooling operation without increasing the complexity of the model. This kind of pooling allows for the integration of multi-layer neural networks directly into a model as a pooling operation by restructuring the data and, as a result, learnin complex pooling operations. We compare our approach to tensor convolution with strides as a pooling operation and show that our approach is both effective and reduces complexity. The restructuring of the data in combination with multiple perceptrons allows for our approach to be used for upscaling, which can then be utilized for transposed convolutions in semantic segmentation.
updated: Fri Oct 30 2020 14:23:00 GMT+0000 (UTC)
published: Fri Jun 12 2020 07:08:38 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト