3D 点群分類ニューラル ネットワーク モデルは広く使用されていますが、ニューロンと層の活性化の詳細な解釈は依然として課題です。 3D 点群分類ニューラル ネットワークの隠されたセマンティクスを解釈するために、Relevance Flow という名前の新しいアプローチを提案します。中間層の活性化されたニューロンにクラス Relevance をバックプロパゲーション方式で配信し、ニューロンの活性化を入力ポイントに関連付けて、各層の隠されたセマンティクスを可視化します。特に、3D 点群分類ニューラル ネットワークが中間層でプレーン レベルとパーツ レベルの隠れたセマンティクスを学習したことを明らかにし、法線と IoU を利用して両方のレベルの隠れたセマンティクスの一貫性を評価します。さらに、隠れたセマンティクスを使用して、3D 点群分類子を攻撃するための敵対的攻撃サンプルを生成します。実験は、提案された方法がModelNet40およびShapeNet上の3D点群分類ニューラルネットワークの隠されたセマンティクスを明らかにすることを示しています。これは、ラベルなしで3D点群分類子を攻撃する教師なし点群部分セグメンテーションに使用できます。
Although 3D point cloud classification neural network models have been widely used, the in-depth interpretation of the activation of the neurons and layers is still a challenge. We propose a novel approach, named Relevance Flow, to interpret the hidden semantics of 3D point cloud classification neural networks. It delivers the class Relevance to the activated neurons in the intermediate layers in a back-propagation manner, and associates the activation of neurons with the input points to visualize the hidden semantics of each layer. Specially, we reveal that the 3D point cloud classification neural network has learned the plane-level and part-level hidden semantics in the intermediate layers, and utilize the normal and IoU to evaluate the consistency of both levels' hidden semantics. Besides, by using the hidden semantics, we generate the adversarial attack samples to attack 3D point cloud classifiers. Experiments show that our proposed method reveals the hidden semantics of the 3D point cloud classification neural network on ModelNet40 and ShapeNet, which can be used for the unsupervised point cloud part segmentation without labels and attacking the 3D point cloud classifiers.