arXiv reaDer
Visualizing Image Content to Explain Novel Image Discovery
大規模なデータ セットの初期分析は、(1) 一般的な傾向またはパターンの識別と、(2) それらの傾向から逸脱する異常または外れ値の識別の 2 つのフェーズに分けることができます。私たちは、データセット内のアーティファクトや、潜在的に未知の現象の発見を警告する、新しいコンテンツを含む観測を検出するという目標に焦点を当てています。これらの選択された観察の新しい側面の解釈と診断を支援するために、説明を生成する新規性検出方法の使用をお勧めします。大規模な画像データ セットのコンテキストでは、これらの説明では、特定の画像のどの側面 (色、形状、テクスチャ、コンテンツ) が新しいかを、人間が理解できる形式で強調する必要があります。畳み込みニューラル ネットワーク (CNN) を使用して画像の特徴を抽出し、再構成エラーを使用して新しいコンテンツを検出し、アップ畳み込みネットワークを使用して変換することにより、新しい画像コンテンツの視覚的な説明を提供する最初の方法である DEMUD-VIS を提案します。 CNN 特徴表現を画像空間に戻します。 ImageNet、淡水の流れ、火星の表面からのさまざまな画像でこのアプローチを示します。
The initial analysis of any large data set can be divided into two phases: (1) the identification of common trends or patterns and (2) the identification of anomalies or outliers that deviate from those trends. We focus on the goal of detecting observations with novel content, which can alert us to artifacts in the data set or, potentially, the discovery of previously unknown phenomena. To aid in interpreting and diagnosing the novel aspect of these selected observations, we recommend the use of novelty detection methods that generate explanations. In the context of large image data sets, these explanations should highlight what aspect of a given image is new (color, shape, texture, content) in a human-comprehensible form. We propose DEMUD-VIS, the first method for providing visual explanations of novel image content by employing a convolutional neural network (CNN) to extract image features, a method that uses reconstruction error to detect novel content, and an up-convolutional network to convert CNN feature representations back into image space. We demonstrate this approach on diverse images from ImageNet, freshwater streams, and the surface of Mars.
updated: Mon Sep 12 2022 21:02:51 GMT+0000 (UTC)
published: Wed Aug 14 2019 07:53:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト