分類ニューラルネットワークは、トレーニングされたクラスに含まれない入力を検出できません。ニューロンの活性化パターンに関するランタイム監視技術を使用して、このような入力を検出できます。データ抽象化を介して分類システムを監視するためのアプローチを提示します。データの抽象化は、解像度のあるボックスの概念に依存しています。ボックスベースの抽象化は、各次元の最小値と最大値によって値のセットを表すことで構成されます。解像度の概念でボックスを拡張し、それらのクラスタリングカバレッジを定義します。これは、抽象化の品質を示す定量的なメトリックです。これにより、構築されたボックスに対するさまざまなクラスタリングパラメータの影響を調査し、最適ではないパラメータの間隔を推定できます。さらに、システムの正しい動作と誤った動作の両方を活用するモニターを自動的に構築します。これにより、モニターの抽象化のサイズを確認し、ネットワークの分離可能性を分析できます。モニターは、いくつかの選択されたレイヤーに配置されたシステムの各クラスのサブモニターを組み合わせることによって取得されます。私たちの実験は、クラスタリングカバレッジ推定の有効性を示し、選択したクラスタリングパラメータと監視対象レイヤーに従ってモニターの有効性と精度を評価する方法を示しています。
Classification neural networks fail to detect inputs that do not fall inside the classes they have been trained for. Runtime monitoring techniques on the neuron activation pattern can be used to detect such inputs. We present an approach for monitoring classification systems via data abstraction. Data abstraction relies on the notion of box with a resolution. Box-based abstraction consists in representing a set of values by its minimal and maximal values in each dimension. We augment boxes with a notion of resolution and define their clustering coverage, which is intuitively a quantitative metric that indicates the abstraction quality. This allows studying the effect of different clustering parameters on the constructed boxes and estimating an interval of sub-optimal parameters. Moreover, we automatically construct monitors that leverage both the correct and incorrect behaviors of a system. This allows checking the size of the monitor abstractions and analyzing the separability of the network. Monitors are obtained by combining the sub-monitors of each class of the system placed at some selected layers. Our experiments demonstrate the effectiveness of our clustering coverage estimation and show how to assess the effectiveness and precision of monitors according to the selected clustering parameter and monitored layers.