arXiv reaDer
Rega-Net:深い畳み込みニューラル ネットワークのための Retina Gabor Attention
Rega-Net:Retina Gabor Attention for Deep Convolutional Neural Networks
広範な研究により、畳み込みニューラル ネットワーク (CNN) のアテンション メカニズムが効果的に精度を向上させることが実証されています。それにもかかわらず、大きな受容野を使用して注意メカニズムを設計する作品はほとんどありません。この作業では、受容野を拡大することによって CNN の精度を高めるために、Rega-net という名前の新しい注意方法を提案します。人間の網膜のメカニズムに着想を得て、畳み込みカーネルを人間の網膜の不均一に分布した構造に似せて設計します。次に、ガボール関数分布の可変解像度値をサンプリングし、これらの値を網膜のようなカーネルに入力します。この分布により、重要な機能が受容野の中心位置でより見やすくなります。これらの網膜のようなカーネルを含む注意モジュールをさらに設計します。実験は、当社の Rega-Net が ImageNet-1K 分類で 79.96% のトップ 1 精度を達成し、COCO2017 オブジェクト検出で 43.1% の mAP を達成することを示しています。 Rega-Net の mAP は、ベースライン ネットワークと比較して最大 3.5% 増加しました。
Extensive research works demonstrate that the attention mechanism in convolutional neural networks (CNNs) effectively improves accuracy. Nevertheless, few works design attention mechanisms using large receptive fields. In this work, we propose a novel attention method named Rega-net to increase CNN accuracy by enlarging the receptive field. Inspired by the mechanism of the human retina, we design convolutional kernels to resemble the non-uniformly distributed structure of the human retina. Then, we sample variable-resolution values in the Gabor function distribution and fill these values in retina-like kernels. This distribution allows essential features to be more visible in the center position of the receptive field. We further design an attention module including these retina-like kernels. Experiments demonstrate that our Rega-Net achieves 79.96% top-1 accuracy on ImageNet-1K classification and 43.1% mAP on COCO2017 object detection. The mAP of the Rega-Net increased by up to 3.5% compared to baseline networks.
updated: Fri Mar 03 2023 07:24:23 GMT+0000 (UTC)
published: Wed Nov 23 2022 04:24:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト