arXiv reaDer
Network In Network
受容野内の局所パッチのモデル識別性を強化するために、「Network In Network」(NIN)と呼ばれる新しい深いネットワーク構造を提案します。従来の畳み込み層は、入力をスキャンするために、線形フィルターに続いて非線形活性化関数を使用します。代わりに、より複雑な構造を持つマイクロニューラルネットワークを構築して、受容野内のデータを抽象化します。強力な関数近似器である多層パーセプトロンでマイクロニューラルネットワークをインスタンス化します。特徴マップは、CNNと同様の方法で入力上にマイクロネットワークをスライドさせることにより取得されます。その後、それらは次の層に送られます。ディープNINは、上記の構造の複数をスタックすることで実装できます。マイクロネットワークを介したローカルモデリングの強化により、分類層のフィーチャマップでグローバル平均プーリングを利用できます。これは、従来の完全に接続された層よりも解釈が容易で、オーバーフィッティングの傾向がありません。 CIFAR-10およびCIFAR-100でNINを使用した最先端の分類パフォーマンスと、SVHNおよびMNISTデータセットで妥当なパフォーマンスを示しました。
We propose a novel deep network structure called "Network In Network" (NIN) to enhance model discriminability for local patches within the receptive field. The conventional convolutional layer uses linear filters followed by a nonlinear activation function to scan the input. Instead, we build micro neural networks with more complex structures to abstract the data within the receptive field. We instantiate the micro neural network with a multilayer perceptron, which is a potent function approximator. The feature maps are obtained by sliding the micro networks over the input in a similar manner as CNN; they are then fed into the next layer. Deep NIN can be implemented by stacking mutiple of the above described structure. With enhanced local modeling via the micro network, we are able to utilize global average pooling over feature maps in the classification layer, which is easier to interpret and less prone to overfitting than traditional fully connected layers. We demonstrated the state-of-the-art classification performances with NIN on CIFAR-10 and CIFAR-100, and reasonable performances on SVHN and MNIST datasets.
updated: Tue Mar 04 2014 05:15:42 GMT+0000 (UTC)
published: Mon Dec 16 2013 15:34:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト