データセットにノイズの多いラベルが存在すると、ディープニューラルネットワーク(DNN)のパフォーマンスが大幅に低下します。この問題に対処するために、MSLGと呼ばれるメタソフトラベル生成アルゴリズムを提案します。これは、メタ学習技術を使用してソフトラベルを共同で生成し、エンドツーエンドでDNNパラメータを学習できます。私たちのアプローチは、メタ学習パラダイムを適応させて、ノイズの多いトレーニングデータとノイズのないメタデータの両方で勾配の方向をチェックすることにより、最適なラベル分布を推定します。ソフトラベルを繰り返し更新するために、推定されたラベルに対してメタ勾配降下ステップが実行されます。これにより、ノイズのないメタサンプルの損失が最小限に抑えられます。各反復で、基本分類子は推定メタラベルでトレーニングされます。 MSLGはモデルに依存せず、手元にある既存のモデルの上に簡単に追加できます。 CIFAR10、Clothing1M、Food101Nデータセットに対して広範な実験を行いました。結果は、私たちのアプローチが他の最先端の方法を大幅に上回っていることを示しています。
The existence of noisy labels in the dataset causes significant performance degradation for deep neural networks (DNNs). To address this problem, we propose a Meta Soft Label Generation algorithm called MSLG, which can jointly generate soft labels using meta-learning techniques and learn DNN parameters in an end-to-end fashion. Our approach adapts the meta-learning paradigm to estimate optimal label distribution by checking gradient directions on both noisy training data and noise-free meta-data. In order to iteratively update soft labels, meta-gradient descent step is performed on estimated labels, which would minimize the loss of noise-free meta samples. In each iteration, the base classifier is trained on estimated meta labels. MSLG is model-agnostic and can be added on top of any existing model at hand with ease. We performed extensive experiments on CIFAR10, Clothing1M and Food101N datasets. Results show that our approach outperforms other state-of-the-art methods by a large margin.