arXiv reaDer
位相的エントロピー計算によるCNNユニットの定量的性能評価
Quantitative Performance Assessment of CNN Units via Topological Entropy Calculation
個々のネットワークユニットのステータスを特定することは、畳み込みニューラルネットワーク(CNN)のメカニズムを理解するために重要です。ただし、特に異なるネットワークモデルのユニットの場合、ユニットのステータスの一般的な指標を確実に提供することは依然として困難です。この目的のために、代数的位相幾何学的ツールを使用して、CNN内の単一ユニットの状態を定量的に明らかにするための新しい方法を提案します。ユニットのステータスは、フィーチャエントロピーと呼ばれる、定義されたトポロジベースのエントロピーの計算によって示されます。これは、カテゴリのユニットに隠されたグローバル空間パターンのカオスの程度を測定します。このように、機能エントロピーは、重みの再スケーリング操作などのさまざまな状況で、さまざまなネットワーク内のユニットのステータスを正確に示すことができます。さらに、層が深くなるにつれて特徴エントロピーが減少し、トレーニング中の損失とほぼ同時に傾向を共有することを示します。トレーニングデータのみでユニットの特徴エントロピーを調査することにより、特徴表現の有効性の観点から、異なる一般化能力を持つネットワーク間の識別を与えることができることを示します。
Identifying the status of individual network units is critical for understanding the mechanism of convolutional neural networks (CNNs). However, it is still challenging to reliably give a general indication of unit status, especially for units in different network models. To this end, we propose a novel method for quantitatively clarifying the status of single unit in CNN using algebraic topological tools. Unit status is indicated via the calculation of a defined topological-based entropy, called feature entropy, which measures the degree of chaos of the global spatial pattern hidden in the unit for a category. In this way, feature entropy could provide an accurate indication of status for units in different networks with diverse situations like weight-rescaling operation. Further, we show that feature entropy decreases as the layer goes deeper and shares almost simultaneous trend with loss during training. We show that by investigating the feature entropy of units on only training data, it could give discrimination between networks with different generalization ability from the view of the effectiveness of feature representations.
updated: Thu Mar 17 2022 08:58:51 GMT+0000 (UTC)
published: Wed Mar 17 2021 15:18:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト