ニューラル ネットワークと確率論を組み合わせた IPNN - 不定確率ニューラル ネットワークと呼ばれる新しい一般的なモデルを提案します。古典的な確率論では、確率の計算はイベントの発生に基づいていますが、これは現在のニューラル ネットワークではほとんど使用されていません。この論文では、古典的な確率論の拡張である新しい一般確率論を提案し、古典的な確率論を私たちの理論の特殊なケースにします。さらに、提案されたニューラル ネットワーク フレームワークでは、ニューラル ネットワークの出力は確率イベントとして定義され、これらのイベントの統計分析に基づいて、分類タスクの推論モデルが推定されます。 IPNN は新しい特性を示しています: 分類中に教師なしクラスタリングを実行できます。さらに、IPNN は非常に小さなニューラル ネットワークで非常に大きな分類を行うことができます。たとえば、100 の出力ノードを持つモデルは 100 億のカテゴリを分類できます。理論上の利点は実験結果に反映されます。
We propose a new general model called IPNN - Indeterminate Probability Neural Network, which combines neural network and probability theory together. In the classical probability theory, the calculation of probability is based on the occurrence of events, which is hardly used in current neural networks. In this paper, we propose a new general probability theory, which is an extension of classical probability theory, and makes classical probability theory a special case to our theory. Besides, for our proposed neural network framework, the output of neural network is defined as probability events, and based on the statistical analysis of these events, the inference model for classification task is deduced. IPNN shows new property: It can perform unsupervised clustering while doing classification. Besides, IPNN is capable of making very large classification with very small neural network, e.g. model with 100 output nodes can classify 10 billion categories. Theoretical advantages are reflected in experimental results.