ネットワーク構造が複雑になるにつれ、不確実性の推論は、人工知能システムの分類精度を向上させるための重要なタスクになりました。画像分類タスクでは、ディリクレ分布によってディープニューラルネットワークの出力をモデル化するための構造化DropConnect(SDC)フレームワークを提案します。トレーニング中に完全に接続されたレイヤーの重みにDropConnect戦略を導入します。テストでは、ネットワークをいくつかのサブネットワークに分割し、そのモーメントをこれらのサブネットワークの出力の平均と分散と一致させることによって、ディリクレ分布をモデル化します。推定されたディリクレ分布のエントロピーは、最終的に不確実性の推論に利用されます。このホワイトペーパーでは、このフレームワークをLeNet5およびVGG16モデルに実装して、MNISTおよびCIFAR-10データセットでの誤分類の検出と分布外の検出を行います。実験結果は、提案されたSDCの性能が他の不確実性推論方法に匹敵する可能性があることを示しています。さらに、SDCは、特定の一般化機能と研究の見通しを備えたさまざまなネットワーク構造にうまく適合しています。
With the complexity of the network structure, uncertainty inference has become an important task to improve the classification accuracy for artificial intelligence systems. For image classification tasks, we propose a structured DropConnect (SDC) framework to model the output of a deep neural network by a Dirichlet distribution. We introduce a DropConnect strategy on weights in the fully connected layers during training. In test, we split the network into several sub-networks, and then model the Dirichlet distribution by match its moments with the mean and variance of the outputs of these sub-networks. The entropy of the estimated Dirichlet distribution is finally utilized for uncertainty inference. In this paper, this framework is implemented on LeNet5 and VGG16 models for misclassification detection and out-of-distribution detection on MNIST and CIFAR-10 datasets. Experimental results show that the performance of the proposed SDC can be comparable to other uncertainty inference methods. Furthermore, the SDC is adapted well to different network structures with certain generalization capabilities and research prospects.