ディープニューラルネットワークの意味を理解するための既存の研究は、ニューロンレベルの解釈に焦点を当てていることが多く、概念が複数のニューロンによって集合的にエンコードされる方法の全体像を適切に捉えていない可能性があります。 NeuroCartographyは、ニューラルネットワークによって学習された概念をスケーラブルに要約および視覚化するインタラクティブシステムです。同じ概念を検出するニューロンを自動的に検出してグループ化し、そのようなニューロングループがどのように相互作用して、より高いレベルの概念とその後の予測を形成するかを説明します。 NeuroCartographyは、2つのスケーラブルな要約手法を導入します。(1)ニューロンクラスタリングは、ニューロンによって検出された概念の意味的類似性に基づいてニューロンをグループ化します(たとえば、異なる品種の「犬の顔」を検出するニューロンはグループ化されます)。 (2)ニューロンの埋め込みは、関連する概念間の関連を、それらが同時に発生する頻度に基づいてエンコードします(たとえば、「犬の顔」と「犬の尻尾」を検出するニューロンは、埋め込みスペースの近くに配置されます)。私たちのスケーラブルな手法の鍵は、2次時間ではなく、ニューロンの数に線形な時間で、すべてのニューロンペアの関係を効率的に計算する機能です。 NeuroCartographyは、120万枚の画像を含むImageNetデータセットなどの大規模なデータに対応します。システムの緊密に調整されたビューは、スケーラブルな手法を統合して、概念とその関係を視覚化し、概念の関連付けをNeuron Projection Viewの2D空間に投影し、Neuronクラスターとそれらの関係をGraphViewに要約します。大規模な人間の評価を通じて、私たちの技術が一貫性のある、人間に意味のある概念を表すニューロングループを発見することを示しています。また、使用シナリオを通じて、関連する孤立した概念の概念カスケードなど、私たちのアプローチがどのように興味深く驚くべき発見を可能にするかについて説明します。 NeuroCartographyの視覚化は最新のブラウザで実行され、オープンソースです。
Existing research on making sense of deep neural networks often focuses on neuron-level interpretation, which may not adequately capture the bigger picture of how concepts are collectively encoded by multiple neurons. We present NeuroCartography, an interactive system that scalably summarizes and visualizes concepts learned by neural networks. It automatically discovers and groups neurons that detect the same concepts, and describes how such neuron groups interact to form higher-level concepts and the subsequent predictions. NeuroCartography introduces two scalable summarization techniques: (1) neuron clustering groups neurons based on the semantic similarity of the concepts detected by neurons (e.g., neurons detecting "dog faces" of different breeds are grouped); and (2) neuron embedding encodes the associations between related concepts based on how often they co-occur (e.g., neurons detecting "dog face" and "dog tail" are placed closer in the embedding space). Key to our scalable techniques is the ability to efficiently compute all neuron pairs' relationships, in time linear to the number of neurons instead of quadratic time. NeuroCartography scales to large data, such as the ImageNet dataset with 1.2M images. The system's tightly coordinated views integrate the scalable techniques to visualize the concepts and their relationships, projecting the concept associations to a 2D space in Neuron Projection View, and summarizing neuron clusters and their relationships in Graph View. Through a large-scale human evaluation, we demonstrate that our technique discovers neuron groups that represent coherent, human-meaningful concepts. And through usage scenarios, we describe how our approaches enable interesting and surprising discoveries, such as concept cascades of related and isolated concepts. The NeuroCartography visualization runs in modern browsers and is open-sourced.