畳み込みニューラルネットワーク(CNN)は、プーリングを使用してアクティベーションマップのサイズを縮小します。このプロセスは、受容野を増やし、その後の畳み込みの計算要件を減らすために重要です。プーリング操作の重要な機能は、計算とメモリオーバーヘッドに大きな影響を与えることなく、初期アクティベーションマップに関して情報損失を最小限に抑えることです。これらの要件を満たすために、SoftPoolを提案します。これは、指数関数的に重み付けされたアクティベーションダウンサンプリングのための高速で効率的な方法です。さまざまなアーキテクチャとプーリング方法にわたる実験を通じて、SoftPoolが削減されたアクティベーションマップでより多くの情報を保持できることを示します。この洗練されたダウンサンプリングにより、CNNの分類精度が向上します。 ImageNet1Kでのプーリング層の置換を使用した実験では、元のアーキテクチャと他のプーリング方法の両方よりも精度が向上していることが示されています。また、アクション認識のためにビデオデータセットでSoftPoolをテストします。繰り返しになりますが、プーリングレイヤーを直接置き換えることで、計算負荷とメモリ要件が制限されたままで、一貫したパフォーマンスの向上が見られます。
Convolutional Neural Networks (CNNs) use pooling to decrease the size of activation maps. This process is crucial to increase the receptive fields and to reduce computational requirements of subsequent convolutions. An important feature of the pooling operation is the minimization of information loss, with respect to the initial activation maps, without a significant impact on the computation and memory overhead. To meet these requirements, we propose SoftPool: a fast and efficient method for exponentially weighted activation downsampling. Through experiments across a range of architectures and pooling methods, we demonstrate that SoftPool can retain more information in the reduced activation maps. This refined downsampling leads to improvements in a CNN's classification accuracy. Experiments with pooling layer substitutions on ImageNet1K show an increase in accuracy over both original architectures and other pooling methods. We also test SoftPool on video datasets for action recognition. Again, through the direct replacement of pooling layers, we observe consistent performance improvements while computational loads and memory requirements remain limited.