ディープラーニングの分野はさまざまな分野への応用において大幅な進歩を遂げているにもかかわらず、ニューラル ネットワーク モデルの学習プロセスの説明は依然として重要な未解決の問題のままです。このペーパーの目的は、ジオメトリとトポロジーの観点からニューラル ネットワーク アーキテクチャを包括的に比較および説明することです。私たちは、ニューラル ネットワークの内部表現と、さまざまな層上のデータ多様体のトポロジーとジオメトリの変化のダイナミクスに焦点を当てます。この論文では、トポロジカル データ解析 (TDA) と永続的ホモロジー フラクタル次元の概念を使用します。 CV および NLP タスクにおける畳み込みニューラル ネットワーク (CNN) アーキテクチャとトランスフォーマーのさまざまなデータセットと構成を使用した幅広い実験を紹介します。私たちの研究は、幾何学的深層学習の枠組み内で説明可能かつ解釈可能な AI という重要な分野の開発に貢献します。
Despite significant advances in the field of deep learning in ap-plications to various areas, an explanation of the learning pro-cess of neural network models remains an important open ques-tion. The purpose of this paper is a comprehensive comparison and description of neural network architectures in terms of ge-ometry and topology. We focus on the internal representation of neural networks and on the dynamics of changes in the topology and geometry of a data manifold on different layers. In this paper, we use the concepts of topological data analysis (TDA) and persistent homological fractal dimension. We present a wide range of experiments with various datasets and configurations of convolutional neural network (CNNs) architectures and Transformers in CV and NLP tasks. Our work is a contribution to the development of the important field of explainable and interpretable AI within the framework of geometrical deep learning.