arXiv reaDer
Sequentially Aggregated Convolutional Networks
  現代のディープネットワークは一般に、最適化の問題を軽減するために特定の形式のショートカット接続を実装しています。ただし、このようなネットワークトポロジは、ディープネットワークの性質を変えることがわかります。多くの点で、これらのネットワークは集約されたワイドネットワークと同様に動作します。したがって、より細かいアーキテクチャレベルでショートカット接続の集約性を活用し、それらを広い畳み込み層内に配置します。最終的には、さまざまな深さの特徴を順番に集約することにより、幅広と深さの両方の表現の利点を組み合わせた、順次集約された畳み込み(SeqConv)レイヤーになります。提案されているSeqConvは、通常の広い畳み込み層のドロップイン置換として機能するため、バックボーンネットワークに簡単に統合できます。 SeqConvをResNetやResNeXtを含む広く採用されているバックボーンに適用し、パブリックベンチマークデータセットで画像分類の実験を行います。 ResNet-50のモデルサイズのResNetベースのネットワークは、2.35 $ \ times $大きいResNet-152のパフォーマンスを簡単に上回ります。一方、ResNeXtベースのモデルは、ネットワークのImageNet分類に新しい最先端の精度を設定します。同様のモデルの複雑さ。私たちの作業のコードと事前トレーニングモデルは、で公開されています。
Modern deep networks generally implement a certain form of shortcut connections to alleviate optimization difficulties. However, we observe that such network topology alters the nature of deep networks. In many ways, these networks behave similarly to aggregated wide networks. We thus exploit the aggregation nature of shortcut connections at a finer architectural level and place them within wide convolutional layers. We end up with a sequentially aggregated convolutional (SeqConv) layer that combines the benefits of both wide and deep representations by aggregating features of various depths in sequence. The proposed SeqConv serves as a drop-in replacement of regular wide convolutional layers and thus could be handily integrated into any backbone network. We apply SeqConv to widely adopted backbones including ResNet and ResNeXt, and conduct experiments for image classification on public benchmark datasets. Our ResNet based network with a model size of ResNet-50 easily surpasses the performance of the 2.35$\times$ larger ResNet-152, while our ResNeXt based model sets a new state-of-the-art accuracy on ImageNet classification for networks with similar model complexity. The code and pre-trained models of our work are publicly available at
updated: Sat Aug 31 2019 07:22:32 GMT+0000 (UTC)
published: Tue Nov 27 2018 04:15:35 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト