Restricted Boltzmann Machines(RBM)やDeep Belif Networks(DBN)などの教師なしニューラルネットは、自動特徴抽出、教師なし重みの初期化、密度推定に強力です。この論文では、これらのニューラルネットのパラメータをパフォーマンスに影響を与えることなく劇的に削減できることを示します。ディープアーキテクチャの基本的な構成要素であるRBMに必要なパラメータを削減する方法について説明します。さらに、教師なしスパースディープアーキテクチャ選択アルゴリズムを提案して、スパースディープニューラルネットワークを形成します。実験結果は、生成パフォーマンスまたは識別パフォーマンスのいずれにも実質的に損失がないことを示しています。
Unsupervised neural nets such as Restricted Boltzmann Machines(RBMs) and Deep Belif Networks(DBNs), are powerful in automatic feature extraction,unsupervised weight initialization and density estimation. In this paper,we demonstrate that the parameters of these neural nets can be dramatically reduced without affecting their performance. We describe a method to reduce the parameters required by RBM which is the basic building block for deep architectures. Further we propose an unsupervised sparse deep architectures selection algorithm to form sparse deep neural networks.Experimental results show that there is virtually no loss in either generative or discriminative performance.