arXiv reaDer
Gated Convolutional Networks with Hybrid Connectivity for Image Classification
 元のボトルネックをSMGモジュールに置き換えることにより、スタックされたモジュールの数を大幅に減らすことにより、DenseNetの冗長性を削減するシンプルで効果的な方法を提案します。さらに、SMGモジュールには効率的な2ステージパイプラインが装備されています。これは、以前のすべての出力を統合する必要があるDenseNetのようなアーキテクチャを目指しています。マルチカーネルの深さ方向の畳み込みにより、その出力はコンパクトで、より有益なマルチスケール機能を保持します。一般的なアテンションモジュールを導入して、再利用機能と新しい機能を単純に追加するのではなく、効果的な融合を実装することにより、忘却と更新ゲートをさらに開発します。ハイブリッドコネクティビティ(グローバルな密集度とローカルな残差のネストされた組み合わせ)およびゲーテッドメカニズムにより、ネットワークをHCGNetと呼びました。 CIFARおよびImageNetデータセットに関する実験結果は、HCGNetがDenseNetよりも顕著に効率的であり、複雑さの少ない最新のネットワークよりも大幅に優れていることを示しています。さらに、HCGNetはまた、それぞれネットワークの分析と敵対的な防御による顕著な解釈可能性と堅牢性を示しています。 MS-COCOでは、HCGNetは一般的なバックボーンよりも優れた機能を一貫して学習できます。
We propose a simple yet effective method to reduce the redundancy of DenseNet by substantially decreasing the number of stacked modules by replacing the original bottleneck by our SMG module, which is augmented by local residual. Furthermore, SMG module is equipped with an efficient two-stage pipeline, which aims to DenseNet-like architectures that need to integrate all previous outputs, i.e., squeezing the incoming informative but redundant features gradually by hierarchical convolutions as a hourglass shape and then exciting it by multi-kernel depthwise convolutions, the output of which would be compact and hold more informative multi-scale features. We further develop a forget and an update gate by introducing the popular attention modules to implement the effective fusion instead of a simple addition between reused and new features. Due to the Hybrid Connectivity (nested combination of global dense and local residual) and Gated mechanisms, we called our network as the HCGNet. Experimental results on CIFAR and ImageNet datasets show that HCGNet is more prominently efficient than DenseNet, and can also significantly outperform state-of-the-art networks with less complexity. Moreover, HCGNet also shows the remarkable interpretability and robustness by network dissection and adversarial defense, respectively. On MS-COCO, HCGNet can consistently learn better features than popular backbones.
updated: Thu Nov 28 2019 08:25:39 GMT+0000 (UTC)
published: Mon Aug 26 2019 14:13:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト