畳み込みニューラルネットワーク(CNN)は、画像分類を含む多くの学習タスクで大きな成功を収めています。 ResNetなどのCNNの最近の高度なモデルは、勾配消失を回避するために主にスキップ接続に焦点を合わせています。 DenseNetの設計では、ネットワーク設計の代替戦略として、機能を転送するための追加のバイパスを作成することを提案しています。このホワイトペーパーでは、最新のネットワークアーキテクチャに広く適用できる、AFI-Netsという名前の新しいアーキテクチャにつながるAttentive Feature Integration(AFI)モジュールを設計します。 AFI-Netsは、さまざまなレベルの特徴間の相関関係を明示的にモデル化し、わずかなオーバーヘッドで特徴を選択的に転送します。AFI-ResNet-152は、ImageNetデータセットで1.24%の相対的な改善を実現し、FLOPを約10%削減し、パラメーターの数をResNet-152と比較して約9.2%。
Convolutional Neural Networks (CNNs) have achieved tremendous success in a number of learning tasks including image classification. Recent advanced models in CNNs, such as ResNets, mainly focus on the skip connection to avoid gradient vanishing. DenseNet designs suggest creating additional bypasses to transfer features as an alternative strategy in network design. In this paper, we design Attentive Feature Integration (AFI) modules, which are widely applicable to most recent network architectures, leading to new architectures named AFI-Nets. AFI-Nets explicitly model the correlations among different levels of features and selectively transfer features with a little overhead.AFI-ResNet-152 obtains a 1.24% relative improvement on the ImageNet dataset while decreases the FLOPs by about 10% and the number of parameters by about 9.2% compared to ResNet-152.