ディープニューラルネットワークのトレーニングは、正確な注釈が付いた大量のトレーニングデータに大きく依存しています。この問題を軽減するために、データに自動的に注釈を付けるさまざまな方法が提案されています。ただし、注釈を自動的に生成すると、必然的にノイズの多いラベルが生成されます。本論文では、正確な注釈付きのトレーニングサンプルを自動的に選択するためのデータ選択と共同トレーニング(DST)法を提案します。具体的には、DSTは、元の注釈と各トレーニングサンプルの予測ラベルに従って混合モデルを適合させ、混合モデルを使用して、トレーニングデータセットを正しくラベル付けされたデータセット、正しく予測されたセット、および間違ったデータセットに動的に分割します。次に、DSTは、教師ありの方法でこれらのデータセットを使用してトレーニングされます。確証バイアスの問題のため、2つのネットワークを交互にトレーニングし、各ネットワークは別のネットワークを教えるためのデータ分割を確立するように任務を負っています。反復ごとに、正しくラベル付けされたラベルと予測されたラベルは、混合モデルからの確率によってそれぞれ再重み付けされ、一様分布を使用して、間違ったサンプルの確率が生成されます。 CIFAR-10、CIFAR-100、Clothing1Mでの実験は、DSTが最先端の方法と同等またはそれより優れていることを示しています。
Training a deep neural network heavily relies on a large amount of training data with accurate annotations. To alleviate this problem, various methods have been proposed to annotate the data automatically. However, automatically generating annotations will inevitably yields noisy labels. In this paper, we propose a Data Selection and joint Training (DST) method to automatically select training samples with accurate annotations. Specifically, DST fits a mixture model according to the original annotation as well as the predicted label for each training sample, and the mixture model is utilized to dynamically divide the training dataset into a correctly labeled dataset, a correctly predicted set and a wrong dataset. Then, DST is trained with these datasets in a supervised manner. Due to confirmation bias problem, we train the two networks alternately, and each network is tasked to establish the data division to teach another network. For each iteration, the correctly labeled and predicted labels are reweighted respectively by the probabilities from the mixture model, and a uniform distribution is used to generate the probabilities of the wrong samples. Experiments on CIFAR-10, CIFAR-100 and Clothing1M demonstrate that DST is the comparable or superior to the state-of-the-art methods.