arXiv reaDer
Exposition and Interpretation of the Topology of Neural Networks
  畳み込みニューラルネットワーク(CNN)は強力で広く使用されているツールです。ただし、それらの解釈可能性は理想とはほど遠いものです。そのような欠点の1つは、ネットワークの見えないデータに一般化する能力を推測することが難しいことです。トポロジカルデータ分析を使用して、CNNの重みでエンコードされた情報をトポロジカルデータモデルの観点から整理できることを示し、そのような情報を解釈および利用する方法を示します。 1から13までの深さの畳み込み層の重みが単純なグローバル構造を学習することを示します。また、トレーニングの過程での単純な構造の変化を示します。具体的には、畳み込み層の空間フィルターの空間を定義および分析し、すべてのネットワーク、深さ、およびトレーニング中に、回転エッジで構成される単純な円と、以下を組み合わせた繰り返しの少ない予期しない複雑な円の繰り返しを示します線、エッジ、および非線形パターン。また、トポロジ構造がネットワークの未可視データへの一般化能力と相関し、トポロジ情報を使用してネットワークのパフォーマンスを改善できることも実証します。 MNIST、CIFAR-10、SVHN、およびImageNetで1,000を超えるCNNをトレーニングします。
Convolutional neural networks (CNN's) are powerful and widely used tools. However, their interpretability is far from ideal. One such shortcoming is the difficulty of deducing a network's ability to generalize to unseen data. We use topological data analysis to show that the information encoded in the weights of a CNN can be organized in terms of a topological data model and demonstrate how such information can be interpreted and utilized. We show that the weights of convolutional layers at depths from 1 through 13 learn simple global structures. We also demonstrate the change of the simple structures over the course of training. In particular, we define and analyze the spaces of spatial filters of convolutional layers and show the recurrence, among all networks, depths, and during training, of a simple circle consisting of rotating edges, as well as a less recurring unanticipated complex circle that combines lines, edges, and non-linear patterns. We also demonstrate that topological structure correlates with a network's ability to generalize to unseen data and that topological information can be used to improve a network's performance. We train over a thousand CNN's on MNIST, CIFAR-10, SVHN, and ImageNet.
updated: Fri Oct 18 2019 04:24:28 GMT+0000 (UTC)
published: Mon Oct 08 2018 00:34:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト