コンピュータビジョンにおけるディープニューラルネットワークの最近の成功により、これらのネットワークの内部動作を理解することが重要です。特定のニューロンは何を表していますか?ニューロンによって捉えられた概念は、単純な言葉で理解または表現するのが難しい場合があります。この論文で提案するアプローチは、特定のニューロンを特定のレベルに励起する入力空間の領域を特徴づけることです。これを逆集合と呼びます。この逆セットは、最適化ベースのサンプリングアプローチによって調査する複雑な高次元オブジェクトです。人間によるこのセットのサンプルの検査は、ニューロンを理解するのに役立つ規則性を明らかにすることができます。これは、ニューロンを最大限に活性化する画像を見つけること、またはマルコフ連鎖モンテカルロを使用して画像をサンプリングすることに限定されたアプローチを超えていますが、これは非常に遅く、多様性がほとんどないサンプルを生成し、生成されたサンプルの活性化値を制御できません。私たちのアプローチでは、いくつかのニューロンの逆セットと他のバリエーションの共通部分を探索することもできます。
With the recent success of deep neural networks in computer vision, it is important to understand the internal working of these networks. What does a given neuron represent? The concepts captured by a neuron may be hard to understand or express in simple terms. The approach we propose in this paper is to characterize the region of input space that excites a given neuron to a certain level; we call this the inverse set. This inverse set is a complicated high dimensional object that we explore by an optimization-based sampling approach. Inspection of samples of this set by a human can reveal regularities that help to understand the neuron. This goes beyond approaches which were limited to finding an image which maximally activates the neuron or using Markov chain Monte Carlo to sample images, but this is very slow, generates samples with little diversity and lacks control over the activation value of the generated samples. Our approach also allows us to explore the intersection of inverse sets of several neurons and other variations.