arXiv reaDer
分布外検出におけるパーセプトロン バイアスの拡散ノイズ除去プロセス
Diffusion Denoising Process for Perceptron Bias in Out-of-distribution Detection
分布外 (OOD) の検出は、深層学習の信頼性と安全性を確保するための重要なタスクです。現在、識別子モデルは、この点で他の方法よりも優れています。ただし、識別子モデルで使用される特徴抽出プロセスでは重要な情報が失われるという問題があり、悪質なケースや悪意のある攻撃の余地が残されています。この論文では、識別器モデルが入力の特定の特徴に対してより敏感であり、過信問題につながることを示唆する新しいパーセプトロン バイアス仮定を導入します。この問題に対処するために、弁別モデルと生成モデルを組み合わせ、拡散モデル (DM) を OOD 検出に統合する新しいフレームワークを提案します。 DM の拡散ノイズ除去プロセス (DDP) が、入力を強化して過信問題を軽減するのに適した新しい形式の非対称補間として機能することを示します。 OOD データの識別子モデルの特徴は、DDP の下で急激な変化を示し、この変化のノルムを指標スコアとして利用します。 CIFAR10、CIFAR100、および ImageNet での実験では、私たちの方法が SOTA アプローチよりも優れていることが示されています。特に、困難な InD ImageNet および OOD 種データセットに対して、私たちの手法は AUROC 85.7 を達成し、以前の SOTA 手法のスコア 77.4 を上回りました。私たちの実装は https://github.com/luping-liu/DiffOOD で入手できます。
Out-of-distribution (OOD) detection is a crucial task for ensuring the reliability and safety of deep learning. Currently, discriminator models outperform other methods in this regard. However, the feature extraction process used by discriminator models suffers from the loss of critical information, leaving room for bad cases and malicious attacks. In this paper, we introduce a new perceptron bias assumption that suggests discriminator models are more sensitive to certain features of the input, leading to the overconfidence problem. To address this issue, we propose a novel framework that combines discriminator and generation models and integrates diffusion models (DMs) into OOD detection. We demonstrate that the diffusion denoising process (DDP) of DMs serves as a novel form of asymmetric interpolation, which is well-suited to enhance the input and mitigate the overconfidence problem. The discriminator model features of OOD data exhibit sharp changes under DDP, and we utilize the norm of this change as the indicator score. Our experiments on CIFAR10, CIFAR100, and ImageNet show that our method outperforms SOTA approaches. Notably, for the challenging InD ImageNet and OOD species datasets, our method achieves an AUROC of 85.7, surpassing the previous SOTA method's score of 77.4. Our implementation is available at https://github.com/luping-liu/DiffOOD.
updated: Sun Jun 04 2023 02:06:29 GMT+0000 (UTC)
published: Mon Nov 21 2022 08:45:08 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト