トポロジーの観点から畳み込みニューラルネットワーク(CNN)に関するとらえどころのない理解に動機付けられて、トポロジーデータ分析を使用して2つのトピックを解釈するための2つの理論的フレームワークを提示します。最初のものは、CNNフィルターのトポロジーの本質を明らかにします。私たちの理論は、最初に、フィーチャトポロジという名前のCNNフィルタに対してフィーチャがどのように配置されるかについてのトポロジ表現を抽象化し、開始エッジ密度を定義することによってそれを特徴付けます。 CNNフィルターの原理を明らかにします。同じカテゴリーの機能トポロジーを編成する傾向があるため、そのような編成を統計的に記述するためにSED分布を提案します。 CNNフィルターの有効性がSED分布のコンパクトさに反映されることを示し、それを測定するためのフィルターエントロピーを導入します。注目すべきことに、トレーニング中のフィルターエントロピーの変化は、CNNトレーニングの本質であるフィルターエントロピー減少プロセスを明らかにします。また、原則に基づいて、フィルターのパフォーマンスを評価するためのメトリックを提供します。 2つ目は、モデルにとらわれない方法でクラス間の識別可能性を調査します。クラスごとに、MBCディストリビューションを提案します。これは、特定のカテゴリの固有の編成を特徴付けることによってカテゴリを区別できるディストリビューションです。マルチクラスについては、2つのカテゴリ間の距離を測定するカテゴリ距離を導入し、さらに2つのカテゴリペア間の識別可能性だけでなく、各カテゴリの識別可能度を包括的に評価するCDマトリックスを提案します。最後に、私たちの実験結果は私たちの理論を確認します。
Motivated by the elusive understanding concerning convolution neural networks (CNNs) in view of topology, we present two theoretical frameworks to interpret two topics by using topological data analysis. The first one reveals the topological essence of CNN filters. Our theory first abstracts a topological representation of how the features locate for a CNN filter, named feature topology, and characterises it by defining the starting edge density. We reveal a principle of CNN filters: tending to organize the feature topologies for the same category, and thus propose the SED Distribution to statistically describe such an organization. We demonstrate the effectiveness of CNN filters reflects in the compactness of SED Distribution, and introduce filter entropy to measure it. Remarkably, the variation of filter entropy during training reveals the essence of CNN training: a filter-entropy-decrease process. Also, based on the principle, we give a metric to assess the filter performance. The second one investigates the inter-class distinguishability in a model-agnostic way. For each class, we propose the MBC Distribution, a distribution that could differentiate categories by characterising the intrinsic organization of the given category. As for multi-classes, we introduce the category distance which metricizes the distance between two categories, and moreover propose the CD Matrix that comprehensively evaluates not just the distinguishability between each two category pair but the distinguishable degree for each category. Finally, our experiment results confirm our theories.