パフォーマンスを低下させることなく解釈可能性を改善するために、人工ニューラルネットワークに階層的な粗視化構造を明示的に採用することを提案します。このアイデアは、2 つの状況で適用されています。 1 つは TaylorNet と呼ばれるニューラル ネットワークで、魔法のような非線形活性化に頼ることなく、入力データから出力結果への一般的なマッピングをテイラー級数で直接近似することを目的としています。もう 1 つは、入力データセットのマルチレベル抽象化を実行し、元のデータセットの関連機能を持ち、分類の参照として使用できる新しいデータを生成できる、データ蒸留の新しいセットアップです。どちらの場合も、粗視化構造は、ネットワークを簡素化し、解釈可能性と効率の両方を向上させる上で重要な役割を果たします。妥当性は、MNIST および CIFAR-10 データセットで実証されています。さらなる改善と関連するいくつかの未解決の問題についても説明します。
We propose to employ the hierarchical coarse-grained structure in the artificial neural networks explicitly to improve the interpretability without degrading performance. The idea has been applied in two situations. One is a neural network called TaylorNet, which aims to approximate the general mapping from input data to output result in terms of Taylor series directly, without resorting to any magic nonlinear activations. The other is a new setup for data distillation, which can perform multi-level abstraction of the input dataset and generate new data that possesses the relevant features of the original dataset and can be used as references for classification. In both cases, the coarse-grained structure plays an important role in simplifying the network and improving both the interpretability and efficiency. The validity has been demonstrated on MNIST and CIFAR-10 datasets. Further improvement and some open questions related are also discussed.