広範な研究により、畳み込みニューラル ネットワーク (CNN) のアテンション メカニズムが効果的に精度を向上させることが実証されています。しかし、大規模な受容野を使用して注意メカニズムを設計する作品はほとんどありません。この作業では、受容野を拡大することによって CNN の精度を高めるために、Rega-net という名前の新しい注意方法を提案します。人間の網膜のメカニズムに着想を得て、畳み込みカーネルを人間の網膜の不均一に分布した構造に似せて設計します。次に、ガボール関数分布の可変解像度値をサンプリングし、これらの値を網膜のようなカーネルに入力します。この分布により、受容野の中心位置で重要な特徴がより見やすくなります。これらの網膜のようなカーネルを含む注意モジュールをさらに設計します。実験は、当社の Rega-Net が ImageNet-1K 分類で 79.963% のトップ 1 精度を達成し、COCO2017 オブジェクト検出で 43.1% の mAP を達成することを示しています。 Rega-Net の mAP は、ベースライン ネットワークと比較して最大 3.5% 増加しました。
Extensive research works demonstrate that the attention mechanism in convolutional neural networks (CNNs) effectively improves accuracy. But little works design attention mechanisms using large receptive fields. In this work, we propose a novel attention method named Rega-net to increase CNN accuracy by enlarging the receptive field. Inspired by the mechanism of the human retina, we design convolutional kernels to resemble the non-uniformly distributed structure of the human retina. Then, we sample variable-resolution values in the Gabor function distribution and fill these values in retina-like kernels. This distribution allows important features to be more visible in the center position of the receptive field. We further design an attention module including these retina-like kernels. Experiments demonstrate that our Rega-Net achieves 79.963% top-1 accuracy on ImageNet-1K classification and 43.1% mAP on COCO2017 object detection. The mAP of the Rega-Net increased by up to 3.5% compared to baseline networks.