arXiv reaDer
On the benefits of defining vicinal distributions in latent space
ビシナル リスク最小化 (VRM) 原理は、ディラック質量をビシナル関数に置き換える経験的リスク最小化 (ERM) バリアントです。適切なビシナル関数が選択された場合、一般化の点で VRM が ERM よりも優れていることを示す強力な数値的および理論的証拠があります。近接分布の一般的な選択肢であるミックスアップ トレーニング (MT) は、トレーニング サンプル間にグローバルな線形動作を導入することにより、モデルの一般化パフォーマンスを向上させます。一般化とは別に、最近の研究では、ミックスアップでトレーニングされたモデルは入力の摂動/破損に対して比較的堅牢であり、同時に、ミックスアップでないモデルよりも適切にキャリブレーションされていることが示されています。この作業では、入力空間自体ではなく、生成モデルの潜在空間でのミックスアップのようなこれらの隣接分布を定義する利点を調査します。データの基礎となる潜在多様体を使用することにより、ミックスアップ画像をより適切にサンプリングするための新しいアプローチ - VarMixup (Variational Mixup) - を提案します。 CIFAR-10、CIFAR-100、および Tiny-ImageNet に関する私たちの経験的研究は、VAE によって学習された潜在多様体でミックスアップを実行することによってトレーニングされたモデルは、さまざまな入力の破損/摂動に対して本質的により堅牢であり、大幅に優れたキャリブレーションを示し、より局所的であることを示しています-線形損失の風景。
The vicinal risk minimization (VRM) principle is an empirical risk minimization (ERM) variant that replaces Dirac masses with vicinal functions. There is strong numerical and theoretical evidence showing that VRM outperforms ERM in terms of generalization if appropriate vicinal functions are chosen. Mixup Training (MT), a popular choice of vicinal distribution, improves the generalization performance of models by introducing globally linear behavior in between training examples. Apart from generalization, recent works have shown that mixup trained models are relatively robust to input perturbations/corruptions and at the same time are calibrated better than their non-mixup counterparts. In this work, we investigate the benefits of defining these vicinal distributions like mixup in latent space of generative models rather than in input space itself. We propose a new approach - VarMixup (Variational Mixup) - to better sample mixup images by using the latent manifold underlying the data. Our empirical studies on CIFAR-10, CIFAR-100, and Tiny-ImageNet demonstrate that models trained by performing mixup in the latent manifold learned by VAEs are inherently more robust to various input corruptions/perturbations, are significantly better calibrated, and exhibit more local-linear loss landscapes.
updated: Mon Oct 18 2021 09:20:57 GMT+0000 (UTC)
published: Sat Mar 14 2020 06:45:26 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト