ディープラーニングが普及して以来、ブラックボックスアプローチが一般的になっているため、人工ニューラルネットワークの動作を理解することは最近この分野の主要なトピックの1つです。このような高次元モデルは、複雑なシステムに似た不安定性や奇妙な特性を示す可能性があります。したがって、完全に接続されたニューラルネットワークの構造とパフォーマンスを分析するための複雑ネットワーク(CN)技術を提案します。そのために、4000のモデルとそれぞれのCNプロパティを使用してデータセットを構築します。これらは、4つのビジョンベンチマークを考慮した教師あり分類設定で使用されます。各ニューラルネットワークは、ニューロンとシナプスの重み付けされた無向グラフとしてアプローチされ、中心性の測定値はトレーニング後に計算されます。結果は、これらの測定値がネットワーク分類のパフォーマンスに大きく関連していることを示しています。また、類似ニューロンをリンクするトポロジカルシグネチャを見つけるためのCNベースのアプローチであるBag-Of-Neurons(BoN)の概念を提案します。結果は、6つのニューロンタイプがターゲットドメインとは無関係にそのようなネットワークに出現し、分類の精度に応じて異なる方法で分布していることを示唆しています。また、パフォーマンスの低いモデルでのサブグラフの中心性の向上など、パフォーマンスに関連する特定のCNプロパティにも取り組みます。私たちの調査結果は、CNプロパティが完全に接続されたニューラルネットワークのパフォーマンスに重要な役割を果たし、トポロジカルパターンが幅広いモデルで独立して出現することを示唆しています。
Understanding the behavior of Artificial Neural Networks is one of the main topics in the field recently, as black-box approaches have become usual since the widespread of deep learning. Such high-dimensional models may manifest instabilities and weird properties that resemble complex systems. Therefore, we propose Complex Network (CN) techniques to analyze the structure and performance of fully connected neural networks. For that, we build a dataset with 4 thousand models and their respective CN properties. They are employed in a supervised classification setup considering four vision benchmarks. Each neural network is approached as a weighted and undirected graph of neurons and synapses, and centrality measures are computed after training. Results show that these measures are highly related to the network classification performance. We also propose the concept of Bag-Of-Neurons (BoN), a CN-based approach for finding topological signatures linking similar neurons. Results suggest that six neuronal types emerge in such networks, independently of the target domain, and are distributed differently according to classification accuracy. We also tackle specific CN properties related to performance, such as higher subgraph centrality on lower-performing models. Our findings suggest that CN properties play a critical role in the performance of fully connected neural networks, with topological patterns emerging independently on a wide range of models.