arXiv reaDer
Coloring the Black Box: Visualizing neural network behavior with a self-introspective model
  次の作業は、特定の問題に対してネットワークの潜在的なすべての非アクティブ化を自動エンコードすることにより、その構造、動作、および脆弱性に関する洞察を提供する方法を示しています。セルフイントロスペクションと呼ばれる方法は、同じカテゴリに属するデータを表示すると、訓練されたモデルが同様の活性化パターンを示すことを示します(初期化によりランダムに分布します)。 、深いネットワーク内で発生する何らかのランダムでゆっくり変化する暗黙的なエンコードを示唆します。これはこの表現で確認できます。さらに、すべてのアクティベーションの低次元表現を取得すると、(1)マルチクラス分類問題のコンテキストでのリアルタイムモデル評価、(2)特定の出力の取得における関連性によるすべての非表示レイヤーの再配置、および(3)ノイズや敵の攻撃に対する可能な対策の研究が可能なフレームワークの取得。自己内省は、損傷した入力データが隠されたアクティベーションを変更し、誤った応答を生成する方法を示すことができます。フィードフォワードモデルと畳み込みモデル、およびMNISTとCIFAR-10データセットにいくつかの実例が実装されており、モデル評価フレームワークとしての機能を示しています。
The following work presents how autoencoding all the possible hidden activations of a network for a given problem can provide insight about its structure, behavior, and vulnerabilities. The method, termed self-introspection, can show that a trained model showcases similar activation patterns (albeit randomly distributed due to initialization) when shown data belonging to the same category, and classification errors occur in fringe areas where the activations are not as clearly defined, suggesting some form of random, slowly varying, implicit encoding occurring within deep networks, that can be observed with this representation. Additionally, obtaining a low-dimensional representation of all the activations allows for (1) real-time model evaluation in the context of a multiclass classification problem, (2) the rearrangement of all hidden layers by their relevance in obtaining a specific output, and (3) the obtainment of a framework where studying possible counter-measures to noise and adversarial attacks is possible. Self-introspection can show how damaged input data can modify the hidden activations, producing an erroneous response. A few illustrative are implemented for feedforward and convolutional models and the MNIST and CIFAR-10 datasets, showcasing its capabilities as a model evaluation framework.
updated: Tue Oct 15 2019 10:41:04 GMT+0000 (UTC)
published: Thu Oct 10 2019 23:02:12 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト