arXiv reaDer
Is Supervised Learning With Adversarial Features Provably Better Than Sole Supervision?
 Generative Adversarial Networks(GAN)は、さまざまな複雑なタスクで有望な結果を示しています。最近の実験では、敵対的なトレーニングがジェネレーターに有用な勾配を提供し、パフォーマンスの向上に役立っていることを示しています。この論文では、敵対的な特徴を持つ教師あり学習が単独の監督よりも優れているかどうかを理論的に分析します。最初に、敵対的特徴のない教師あり学習が、ほぼ最適な領域での勾配問題の消失に苦しんでいることを示します。第二に、監視された信号で強化された敵対的な学習がこの消失する勾配の問題をどのように軽減するかを分析します。最後に、敵対的な特徴を持つ教師あり学習が、(いくつかの穏やかな仮定の下で)単一の監督よりも優れている可能性があることを示す主な結果を証明します。私たちは、(i)予想される経験的リスクと(ii)収束率の2つの面で主な結果を支持します。
Generative Adversarial Networks (GAN) have shown promising results on a wide variety of complex tasks. Recent experiments show adversarial training provides useful gradients to the generator that helps attain better performance. In this paper, we intend to theoretically analyze whether supervised learning with adversarial features can outperform sole supervision, or not. First, we show that supervised learning without adversarial features suffer from vanishing gradient issue in near optimal region. Second, we analyze how adversarial learning augmented with supervised signal mitigates this vanishing gradient issue. Finally, we prove our main result that shows supervised learning with adversarial features can be better than sole supervision (under some mild assumptions). We support our main result on two fronts (i) expected empirical risk and (ii) rate of convergence.
updated: Mon Apr 20 2020 14:42:18 GMT+0000 (UTC)
published: Wed Oct 30 2019 17:20:45 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト