ディープラーニングには、入力パターンの複雑な機能を表す階層ネットワークアーキテクチャがあります。ニューロン生成消滅アルゴリズムにより、制限付きボルツマンマシン(RBM)で与えられた入力データに対して最適な数の隠れニューロンを発見し、適切な数を取得できるディープビリーフネットワーク(DBN)の適応構造学習法を開発しました。 DBNの隠しレイヤー。この論文では、私たちのモデルを顔の表情の画像データセットであるAffectNetに適用します。このシステムは、従来のCNNよりも高い分類機能を備えています。しかし、人間の感情には、顔の画像に対する主観的な判断が異なる2人以上のアノテーターによる誤った回答につながる多くのあいまいな特徴やパターンが含まれているため、モデルは一部のテストケースを正しく分類できませんでした。そのような場合を表すために、この論文は適応DBNの蒸留学習モデルを調査した。元のトレーニング済みモデルは親モデルと見なすことができ、一部の子モデルは、誤分類されたケースに対してトレーニングされています。親モデルと子モデルの違いについては、KL発散が監視され、分類精度を向上させるために、親モデルでいくつかの適切な新しいニューロンがKL発散に従って生成されます。本論文では、提案手法により分類精度を78.4%から91.3%に改善した。
Deep Learning has a hierarchical network architecture to represent the complicated feature of input patterns. We have developed the adaptive structure learning method of Deep Belief Network (DBN) that can discover an optimal number of hidden neurons for given input data in a Restricted Boltzmann Machine (RBM) by neuron generation-annihilation algorithm, and can obtain the appropriate number of hidden layers in DBN. In this paper, our model is applied to a facial expression image data set, AffectNet. The system has higher classification capability than the traditional CNN. However, our model was not able to classify some test cases correctly because human emotions contain many ambiguous features or patterns leading wrong answer by two or more annotators who have different subjective judgment for a facial image. In order to represent such cases, this paper investigated a distillation learning model of Adaptive DBN. The original trained model can be seen as a parent model and some child models are trained for some mis-classified cases. For the difference between the parent model and the child one, KL divergence is monitored and then some appropriate new neurons at the parent model are generated according to KL divergence to improve classification accuracy. In this paper, the classification accuracy was improved from 78.4% to 91.3% by the proposed method.