arXiv reaDer
グラスボックス CNN に向けて
Towards glass-box CNNs
機密性の高い分野でのニューラル ネットワークの実質的なパフォーマンスにより、解釈可能なディープ ラーニング モデルの必要性が高まっています。主な課題は、ディープ ニューラル ネットワークのバスケット マッピング内に隠されているマルチスケールの分散表現を明らかにすることです。研究者は、特徴、数学的構造、またはその他のデータ駆動型アプローチの視覚的分析を通じて、それを理解しようとしてきました。ここでは、CNN ベースの表現の実装の不変性に取り組み、大規模な現実のアプリケーションに役立つ洞察を提供する分析バイナリ プロトタイプを提示します。従来の CNN を展開することから始め、より透過的な表現で再パックします。ニューラル ネットワークの達成に着想を得て、調査結果を 3 層モデルとして提示することにしました。 1 つ目は、入力画像のクラス情報 (群不変) と対称変換 (群同変) の両方を含む表現層です。これらの変換により、クラス内距離が減少し、クラス間距離が増加します。次に、次元削減層、続いて分類器を通過します。提案された表現は、シミュレーション結果のより良い普及のために、AlexNet (CNN) 内部表現の等分散と比較されます。この玩具バージョンの当面の利点として、i) データの前処理に貢献し、大規模な問題で特徴またはクラスの分離可能性を高める、ii) ニューラル アーキテクチャの設計に役立ち、マルチクラスの問題で分類パフォーマンスを向上させる、および iii)スケーラブルな機能ブロックを介して解釈可能な CNN を構築するのに役立ちます。
With the substantial performance of neural networks in sensitive fields increases the need for interpretable deep learning models. Major challenge is to uncover the multiscale and distributed representation hidden inside the basket mappings of the deep neural networks. Researchers have been trying to comprehend it through visual analysis of features, mathematical structures, or other data-driven approaches. Here, we work on implementation invariances of CNN-based representations and present an analytical binary prototype that provides useful insights for large scale real-life applications. We begin by unfolding conventional CNN and then repack it with a more transparent representation. Inspired by the attainment of neural networks, we choose to present our findings as a three-layer model. First is a representation layer that encompasses both the class information (group invariant) and symmetric transformations (group equivariant) of input images. Through these transformations, we decrease intra-class distance and increase the inter-class distance. It is then passed through a dimension reduction layer followed by a classifier. The proposed representation is compared with the equivariance of AlexNet (CNN) internal representation for better dissemination of simulation results. We foresee following immediate advantages of this toy version: i) contributes pre-processing of data to increase the feature or class separability in large scale problems, ii) helps designing neural architecture to improve the classification performance in multi-class problems, and iii) helps building interpretable CNN through scalable functional blocks.
updated: Wed Nov 09 2022 03:43:13 GMT+0000 (UTC)
published: Mon Jan 11 2021 15:00:35 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト