arXiv reaDer
分布外検出におけるパーセプトロン バイアスの拡散ノイズ除去プロセス
Diffusion Denoising Process for Perceptron Bias in Out-of-distribution Detection
分布外 (OOD) の検出は、ディープ ラーニングの信頼性と安全性を確保するための重要なタスクであり、現在のところ、弁別器モデルは他のモデルよりも優れています。ただし、識別モデルの特徴抽出では、データを圧縮して特定の情報を失う必要があり、悪いケースや悪意のある攻撃の余地が残されています。この論文では、弁別器モデルが入力空間のいくつかのサブエリアに対してより敏感であり、そのようなパーセプトロンバイアスが悪いケースと過信領域を引き起こすという新しい仮定を提供します。この仮定の下で、新しい検出方法と指標スコアを設計します。検出方法については、拡散モデル (DM) を OOD 検出に導入します。 DMの拡散ノイズ除去プロセス(DDP)は、非対称補間の新しい形式としても機能することがわかりました。これは、入力を強化し、過信領域を減らすのに適しています。インジケーター スコアについては、OOD 入力のディスクリミネーター モデルの機能が DDP の下で急激に変化することがわかり、この動的変化のノルムをインジケーター スコアとして使用します。したがって、新しい仮定の下で OOD 検出を行うために、識別モデルと生成モデルを組み合わせる新しいフレームワークを開発します。弁別モデルは適切な検出空間を提供し、生成モデルは過信の問題を軽減します。 CIFAR10 と CIFAR100 に関する私たちの実験によると、私たちの方法は最先端の方法と競合する結果を得ています。私たちの実装は https://github.com/luping-liu/DiffOOD で入手できます。
Out-of-distribution (OOD) detection is an important task to ensure the reliability and safety of deep learning and the discriminator models outperform others for now. However, the feature extraction of the discriminator models must compress the data and lose certain information, leaving room for bad cases and malicious attacks. In this paper, we provide a new assumption that the discriminator models are more sensitive to some subareas of the input space and such perceptron bias causes bad cases and overconfidence areas. Under this assumption, we design new detection methods and indicator scores. For detection methods, we introduce diffusion models (DMs) into OOD detection. We find that the diffusion denoising process (DDP) of DMs also functions as a novel form of asymmetric interpolation, which is suitable to enhance the input and reduce the overconfidence areas. For indicator scores, we find that the features of the discriminator models of OOD inputs occur sharp changes under DDP and use the norm of this dynamic change as our indicator scores. Therefore, we develop a new framework to combine the discriminator and generation models to do OOD detection under our new assumption. The discriminator models provide proper detection spaces and the generation models reduce the overconfidence problem. According to our experiments on CIFAR10 and CIFAR100, our methods get competitive results with state-of-the-art methods. Our implementation is available at https://github.com/luping-liu/DiffOOD.
updated: Mon Nov 21 2022 08:45:08 GMT+0000 (UTC)
published: Mon Nov 21 2022 08:45:08 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト