ラベル平滑化(LS)は、モデルにペナルティを課して自信過剰な出力分布を生成することにより、モデルの一般化を改善します。トレーニングサンプルごとに、LSストラテジーは、その分布質量を非グラウンドトゥルースクラスに分散することにより、ワンホットエンコードされたトレーニング信号を平滑化します。例のペア、造られたPLSを検討することにより、この手法を拡張します。 PLSは、最初にランダムなサンプルペアを平均することによって中点サンプルを作成し、次にこれらの各中点サンプルのトレーニング中に平滑化分布を学習します。その結果、トレーニングの不確実性の高いラベルを持つ中点が生成されます。 PLSがLSを大幅に上回り、相対的な分類エラーの最大30%の削減を達成することを経験的に示しています。また、PLSは、分布サンプルの内外の両方で非常に低い勝利ソフトマックススコアを生成することも視覚化します。
Label Smoothing (LS) improves model generalization through penalizing models from generating overconfident output distributions. For each training sample the LS strategy smooths the one-hot encoded training signal by distributing its distribution mass over the non-ground truth classes. We extend this technique by considering example pairs, coined PLS. PLS first creates midpoint samples by averaging random sample pairs and then learns a smoothing distribution during training for each of these midpoint samples, resulting in midpoints with high uncertainty labels for training. We empirically show that PLS significantly outperforms LS, achieving up to 30% of relative classification error reduction. We also visualize that PLS produces very low winning softmax scores for both in and out of distribution samples.