arXiv reaDer
Non-Negative Bregman Divergence Minimization for Deep Direct Density Ratio Estimation
密度比推定(DRE)は、異常検出やドメイン適応などのさまざまな機械学習タスクの中核です。 DREに関する既存の研究では、Bregman発散(BD)最小化に基づく方法が広く研究されています。ただし、ディープニューラルネットワークなどの柔軟性の高いモデルに適用した場合のBD最小化は、経験的BD推定量の典型的な特性によって引き起こされる過剰適合の原因であるトレインロスハッキングと呼ばれるものに悩まされる傾向があります。この論文では、列車損失のハッキングを軽減するために、経験的なBD推定量の非負の補正を提案します。理論的には、汎化誤差限界を通じて提案手法の健全性を確認します。私たちの実験を通して、提案された方法は、インライアベースの外れ値検出において好ましい性能を示しています。
Density ratio estimation (DRE) is at the core of various machine learning tasks such as anomaly detection and domain adaptation. In existing studies on DRE, methods based on Bregman divergence (BD) minimization have been extensively studied. However, BD minimization when applied with highly flexible models, such as deep neural networks, tends to suffer from what we call train-loss hacking, which is a source of overfitting caused by a typical characteristic of empirical BD estimators. In this paper, to mitigate train-loss hacking, we propose a non-negative correction for empirical BD estimators. Theoretically, we confirm the soundness of the proposed method through a generalization error bound. Through our experiments, the proposed methods show a favorable performance in inlier-based outlier detection.
updated: Sat Jul 17 2021 09:25:37 GMT+0000 (UTC)
published: Fri Jun 12 2020 07:39:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト