最新の深層生成モデルは、トレーニング ディストリビューションの外部から引き出された入力に高い可能性を割り当てることができ、オープン ワールド展開のモデルに脅威をもたらします。 OOD の不確実性の新しいテスト時間の尺度を定義することに多くの研究の注意が向けられてきましたが、これらの方法は、深い生成モデルがトレーニングで正規化および最適化される方法を根本的に変えるものではありません。特に、生成モデルは、背景情報に過度に依存して可能性を推定することが示されています。この問題に対処するために、OOD 検出のための新しい頻度正規化学習 FRL フレームワークを提案します。これは、高頻度情報をトレーニングに組み込み、意味的に関連する機能に焦点を当てるようにモデルを導きます。 FRL は、変分自動エンコーダー、GLOW、PixelCNN++ など、さまざまな生成アーキテクチャのパフォーマンスを効果的に向上させます。新しい大規模な評価タスクで、FRL は最先端のパフォーマンスを達成し、強力なベースラインである後悔の可能性を 10.7% (AUROC) 上回る一方で、147 倍の高速な推論速度を達成しています。広範なアブレーションは、FRL が画像生成の品質を維持しながら OOD 検出性能を向上させることを示しています。コードは https://github.com/mu-cai/FRL で入手できます。
Modern deep generative models can assign high likelihood to inputs drawn from outside the training distribution, posing threats to models in open-world deployments. While much research attention has been placed on defining new test-time measures of OOD uncertainty, these methods do not fundamentally change how deep generative models are regularized and optimized in training. In particular, generative models are shown to overly rely on the background information to estimate the likelihood. To address the issue, we propose a novel frequency-regularized learning FRL framework for OOD detection, which incorporates high-frequency information into training and guides the model to focus on semantically relevant features. FRL effectively improves performance on a wide range of generative architectures, including variational auto-encoder, GLOW, and PixelCNN++. On a new large-scale evaluation task, FRL achieves the state-of-the-art performance, outperforming a strong baseline Likelihood Regret by 10.7% (AUROC) while achieving 147× faster inference speed. Extensive ablations show that FRL improves the OOD detection performance while preserving the image generation quality. Code is available at https://github.com/mu-cai/FRL.