我々は、CNN から論理ルールを抽出し、画像を分類するための NeSyFOLD モデルを作成するための、NeSyFOLD と呼ばれる新しい神経象徴フレームワークを紹介します。 NeSyFOLD の学習パイプラインは次のとおりです。(i) まず入力画像データセットで CNN を事前トレーニングし、最終層カーネルの活性化をバイナリ値として抽出します。 (ii) 次に、FOLD-SE-M ルールベースの機械学習アルゴリズムを使用して、論理的な説明を生成しながら、各カーネルに対応するバイナリ アクティベーションのベクトルとして表される画像を分類できるロジック プログラムを生成します。 FOLD-SE-M アルゴリズムによって生成されたルールには、述語としてカーネル番号があります。私たちは、CNN カーネルを画像内の意味概念に自動的にマッピングするための新しいアルゴリズムを考案しました。このマッピングは、ルールセット内の述語名 (カーネル番号) を対応する意味概念ラベルに置き換えるために使用されます。結果として得られるルールセットは解釈可能であり、人間が直感的に理解することができます。 NeSyFOLD フレームワークと、決定木のようなアルゴリズムを使用してルールを取得する ERIC システムを比較します。私たちのフレームワークには、ERIC に比べて次の利点があります。 (i) ほとんどの場合、NeSyFOLD は精度と忠実度を損なうことなく、より小さなルールセットを生成します。 (ii) NeSyFOLD は、フィルター番号とセマンティック ラベルのマッピングを自動的に生成します。
We present a novel neurosymbolic framework called NeSyFOLD to extract logic rules from a CNN and create a NeSyFOLD model to classify images. NeSyFOLD's learning pipeline is as follows: (i) We first pre-train a CNN on the input image dataset and extract activations of the last layer kernels as binary values; (ii) Next, we use the FOLD-SE-M rule-based machine learning algorithm to generate a logic program that can classify an image -- represented as a vector of binary activations corresponding to each kernel -- while producing a logical explanation. The rules generated by the FOLD-SE-M algorithm have kernel numbers as predicates. We have devised a novel algorithm for automatically mapping the CNN kernels to semantic concepts in the images. This mapping is used to replace predicate names (kernel numbers) in the rule-set with corresponding semantic concept labels. The resulting rule-set is interpretable, and can be intuitively understood by humans. We compare our NeSyFOLD framework with the ERIC system that uses a decision-tree like algorithm to obtain the rules. Our framework has the following advantages over ERIC: (i) In most cases, NeSyFOLD generates smaller rule-sets without compromising on the accuracy and fidelity; (ii) NeSyFOLD generates the mapping of filter numbers to semantic labels automatically.