arXiv reaDer
MetaMixUp:メタ学習を使用したMixUpの適応補間ポリシーの学習
MetaMixUp: Learning Adaptive Interpolation Policy of MixUp with Meta-Learning
  MixUpは、サンプルとそのラベルのペア間のランダムな線形補間を介してディープニューラルネットワークを正則化するための効果的なデータ増強方法です。これは、モデルの正則化、半教師付き学習、およびドメイン適応において重要な役割を果たします。しかし、その経験的な成功にもかかわらず、サンプルをランダムに混合することの欠陥は十分に研究されていません。深いネットワークはデータセット全体を記憶できるため、不適切に選択された補間ポリシーを使用してバニラMixUpによって生成された破損したサンプルは、ネットワークのパフォーマンスを低下させます。メタ学習(学習を学ぶ)に触発された、破損したサンプルによる不足を克服するために、この作業で混乱する学習の新しい手法、つまりMetaMixUpを提案します。事前定義された分布から補間ポリシーをサンプリングする一般的なMixUpとは異なり、このペーパーでは、メタ学習ベースのオンライン最適化アプローチを導入して、データ適応的な方法で補間ポリシーを動的に学習します。メタ学習による検証セットのパフォーマンスは、不足している問題を捕捉し、補間ポリシーを改善するためのより多くの情報を提供します。さらに、洗練された擬似ラベル付け戦略とともに、擬似ラベルベースの半教師付き学習(SSL)にメソッドを適合させます。私たちの実験では、監視された学習構成の下で、バニラMixUpおよびそのバリアントよりも優れたパフォーマンスを実現します。特に、広範な実験により、MetaMixUpに適合したSSLは、SSL構成下のCIFAR-10およびSVHNベンチマークでMixUpおよび多くの最先端の方法よりも大幅に優れていることが示されています。
MixUp is an effective data augmentation method to regularize deep neural networks via random linear interpolations between pairs of samples and their labels. It plays an important role in model regularization, semi-supervised learning and domain adaption. However, despite its empirical success, its deficiency of randomly mixing samples has poorly been studied. Since deep networks are capable of memorizing the entire dataset, the corrupted samples generated by vanilla MixUp with a badly chosen interpolation policy will degrade the performance of networks. To overcome the underfitting by corrupted samples, inspired by Meta-learning (learning to learn), we propose a novel technique of learning to mixup in this work, namely, MetaMixUp. Unlike the vanilla MixUp that samples interpolation policy from a predefined distribution, this paper introduces a meta-learning based online optimization approach to dynamically learn the interpolation policy in a data-adaptive way. The validation set performance via meta-learning captures the underfitting issue, which provides more information to refine interpolation policy. Furthermore, we adapt our method for pseudo-label based semisupervised learning (SSL) along with a refined pseudo-labeling strategy. In our experiments, our method achieves better performance than vanilla MixUp and its variants under supervised learning configuration. In particular, extensive experiments show that our MetaMixUp adapted SSL greatly outperforms MixUp and many state-of-the-art methods on CIFAR-10 and SVHN benchmarks under SSL configuration.
updated: Tue Aug 27 2019 07:26:35 GMT+0000 (UTC)
published: Tue Aug 27 2019 07:26:35 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト