arXiv reaDer
Inception-v4, Inception-ResNetと残差接続が学習に与える影響
Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning
非常に深い畳み込みネットワークは、近年の画像認識性能の最大の進歩の中心となっています。その一例として、比較的低い計算コストで非常に優れた性能を達成することが示されているInceptionアーキテクチャがあります。最近では、より伝統的なアーキテクチャに加えて残差接続を導入することで、2015年のILSVRCチャレンジで最先端の性能が得られました。このことから、Inceptionアーキテクチャと残差接続を組み合わせることにメリットがあるのかという疑問が生じます。ここでは、残差接続を用いた訓練により、Inceptionネットワークの訓練が大幅に加速されるという明確な実証的証拠を示しています。また、残差接続を用いたインセプションネットワークの方が、残差接続を用いない同じような高価なインセプションネットワークよりも優れているという証拠もあります。また、残差接続と非残差接続の両方のInceptionネットワークについて、いくつかの新しい合理化されたアーキテクチャを提示します。これらのバリエーションにより、ILSVRC 2012の分類タスクにおけるシングルフレーム認識性能が大幅に向上します。さらに、適切な活性化スケーリングが、非常に広い残差インセプションネットワークの学習を安定化させることを実証します。3つの残差と1つのInception-v4のアンサンブルを用いて、ImageNet分類(CLS)課題のテストセットで3.08%のトップ5エラーを達成しました。
Very deep convolutional networks have been central to the largest advances in image recognition performance in recent years. One example is the Inception architecture that has been shown to achieve very good performance at relatively low computational cost. Recently, the introduction of residual connections in conjunction with a more traditional architecture has yielded state-of-the-art performance in the 2015 ILSVRC challenge; its performance was similar to the latest generation Inception-v3 network. This raises the question of whether there are any benefit in combining the Inception architecture with residual connections. Here we give clear empirical evidence that training with residual connections accelerates the training of Inception networks significantly. There is also some evidence of residual Inception networks outperforming similarly expensive Inception networks without residual connections by a thin margin. We also present several new streamlined architectures for both residual and non-residual Inception networks. These variations improve the single-frame recognition performance on the ILSVRC 2012 classification task significantly. We further demonstrate how proper activation scaling stabilizes the training of very wide residual Inception networks. With an ensemble of three residual and one Inception-v4, we achieve 3.08 percent top-5 error on the test set of the ImageNet classification (CLS) challenge
updated: Tue Aug 23 2016 16:42:29 GMT+0000 (UTC)
published: Tue Feb 23 2016 18:44:39 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト