arXiv reaDer
正規化器を深く掘り下げる: ImageNet分類で人間レベルの性能を上回る
Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification
最先端のニューラルネットワークには、正規化活性ユニット(正規化器)が不可欠である。本研究では、画像分類のための正規化器ニューラルネットワークを2つの側面から研究する。第一に、従来の正規化器を一般化したパラメトリック正規化線形ユニット(PReLU)を提案する。PReLUは、余分な計算コストをほぼゼロにし、オーバーフィッティングのリスクを最小限に抑えることで、モデルのフィッティングを改善する。第二に、特に正規化器の非線形性を考慮したロバストな初期化手法を導出する。この方法により、非常に深い正規化器モデルをスクラッチから直接学習することができ、より深い、あるいはより広いネットワークアーキテクチャを調査することができる。我々のPReLUネットワーク(PReLU-net)に基づいて、ImageNet 2012の分類データセットにおいて、4.94%のトップ5テストエラーを達成した。これは、ILSVRC 2014の勝者(GoogLeNet、6.66%)と比較して26%の相対的な改善である。私たちの知る限りでは、この視覚認識課題で人間レベルの性能(5.1%、Russakovskyら)を上回る結果を得たのは初めてである。
Rectified activation units (rectifiers) are essential for state-of-the-art neural networks. In this work, we study rectifier neural networks for image classification from two aspects. First, we propose a Parametric Rectified Linear Unit (PReLU) that generalizes the traditional rectified unit. PReLU improves model fitting with nearly zero extra computational cost and little overfitting risk. Second, we derive a robust initialization method that particularly considers the rectifier nonlinearities. This method enables us to train extremely deep rectified models directly from scratch and to investigate deeper or wider network architectures. Based on our PReLU networks (PReLU-nets), we achieve 4.94% top-5 test error on the ImageNet 2012 classification dataset. This is a 26% relative improvement over the ILSVRC 2014 winner (GoogLeNet, 6.66%). To our knowledge, our result is the first to surpass human-level performance (5.1%, Russakovsky et al.) on this visual recognition challenge.
updated: Fri Feb 06 2015 10:44:00 GMT+0000 (UTC)
published: Fri Feb 06 2015 10:44:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト