arXiv reaDer
畳み込みニューラルネットワークにおける個々のユニットの定量的有効性評価と役割分類
Quantitative Effectiveness Assessment and Role Categorization of Individual Units in Convolutional Neural Networks
個々のユニットの役割を特定することは、畳み込みニューラルネットワーク(CNN)のメカニズムを理解するために重要です。ただし、CNNの個々のユニットの有効性評価のための完全に自動化された定量的な測定を行うことは困難です。この目的のために、画像分類タスクにおけるCNNの単一ユニットの状態と有用性を定量的に明らかにするための新しい方法を提案します。私たちの方法の技術的実体は、代数的位相幾何学ツールを使用して具体的に定義されたエントロピーの計算に基づいて、分類における各クラスの単位の重要性をランク付けすることです。人間の介入なしに、完全に機械で実装できます。ある種の相転移を含むいくつかの興味深い現象は、ユニットの連続的なアブレーションプロセスにおける精度の進化とネットワークの喪失を介して観察されます。すべてのネットワークユニットは、トレーニングおよびテストデータのパフォーマンスに応じて4つのカテゴリに分類されます。役割の分類は、ネットワークの構築と簡素化のための優れた出発点です。分類タスクにおけるユニットのネットワーク一般化への多様な有用性と貢献は、かなりの規模のネットワーク(VGG)とデータセット(ImageNet)での広範な実験によって完全に示されています。私たちの方法では、本質的な問題なしに、他のネットワークモデルやタスクに拡張アプリケーションを簡単に使用できます。
Identifying the roles of individual units is critical for understanding the mechanism of convolutional neural networks (CNNs). However, it is challenging to give the fully automatic and quantitative measures for effectiveness assessment of individual units in CNN. To this end, we propose a novel method for quantitatively clarifying the status and usefulness of single unit of CNN in image classification tasks. The technical substance of our method is ranking the importance of unit for each class in classification based on calculation of specifically defined entropy using algebraic topological tools. It could be implemented totally by machine without any human intervention. Some interesting phenomena including certain kind of phase transition are observed via the evolution of accuracy and loss of network in the successive ablation process of units. All of the network units are divided into four categories according to their performance on training and testing data. The role categorization is excellent startpoint for network construction and simplification. The diverse utility and contribution to the network generalization of units in classification tasks are thoroughly illustrated by extensive experiments on network (VGG) and dataset (ImageNet) with considerable scale. It is easy for our method to have extensional applications on other network models and tasks without essential difficulties.
updated: Wed Mar 17 2021 15:18:18 GMT+0000 (UTC)
published: Wed Mar 17 2021 15:18:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト