ディープ ニューラル ネットワーク (DNN) を使用した機械学習は、さまざまな応用分野にわたるタスクを解決するための成功したツールとなっています。ただし、DNN は複雑であるため、学習したタスクをどのように解決するかを理解することが困難になります。 DNN の説明可能性を向上させるために、複雑で不透明なシステムを分析する神経科学の手法を採用しています。ここでは、神経科学が地形図を使用して脳の活動を視覚化する方法からインスピレーションを得ています。また、DNNにおけるニューロンの活動を地形図として可視化するために、同様の活動をするニューロンが互いに近接するように2次元空間上にニューロンを配置する技術を研究しています。この研究では、DNN 層内のニューロンのトポグラフィック レイアウトを取得する方法を紹介し、比較します。さらに、地形的アクティベーション マップを使用してエラーやエンコードされたバイアスを特定し、トレーニング プロセスを視覚化する方法を示します。当社の新しい視覚化技術は、DNN ベースの意思決定システムの透明性を向上させ、機械学習の専門知識がなくても解釈可能です。
Machine Learning with Deep Neural Networks (DNNs) has become a successful tool in solving tasks across various fields of application. However, the complexity of DNNs makes it difficult to understand how they solve their learned task. To improve the explainability of DNNs, we adapt methods from neuroscience that analyze complex and opaque systems. Here, we draw inspiration from how neuroscience uses topographic maps to visualize brain activity. To also visualize activations of neurons in DNNs as topographic maps, we research techniques to layout the neurons in a two-dimensional space such that neurons of similar activity are in the vicinity of each other. In this work, we introduce and compare methods to obtain a topographic layout of neurons in a DNN layer. Moreover, we demonstrate how to use topographic activation maps to identify errors or encoded biases and to visualize training processes. Our novel visualization technique improves the transparency of DNN-based decision-making systems and is interpretable without expert knowledge in Machine Learning.