Mixupは、データポイント間でスムーズに補間された予測を行うようにネットワークをトレーニングするデータ拡張の手順です。敵対的トレーニングは、各データポイントの周囲のコンパクトな空間で最悪の場合の予測を最適化する強力な形式のデータ拡張であり、その結果、はるかに堅牢な予測を行うニューラルネットワークが得られます。このホワイトペーパーでは、投影勾配降下法(PGD)を使用して、データポイント間のスペースを敵対的に調査することにより、これらのアイデアをまとめます。この作業の基本的なアプローチは、トレーニング中に混合補間を介してバックプロパゲーションを活用し、ネットワークが滑らかで不調和な予測を行う場所を最適化することです。さらに、混合比の最適化や幾何学的なラベル割り当てなど、いくつかの変更やニュアンスについても検討し、ネットワークの堅牢性の向上に対するそれらの影響について説明します。これらのアイデアを通じて、より適切に堅牢に一般化するネットワークをトレーニングすることができました。 CIFAR-10およびCIFAR-100での実験は、最近の強力なアンサンブル攻撃AutoAttackを含む、強力な敵に対する精度の一貫した改善を示しています。私たちのソースコードは再現性のためにリリースされます。
Mixup is a procedure for data augmentation that trains networks to make smoothly interpolated predictions between datapoints. Adversarial training is a strong form of data augmentation that optimizes for worst-case predictions in a compact space around each data-point, resulting in neural networks that make much more robust predictions. In this paper, we bring these ideas together by adversarially probing the space between datapoints, using projected gradient descent (PGD). The fundamental approach in this work is to leverage backpropagation through the mixup interpolation during training to optimize for places where the network makes unsmooth and incongruous predictions. Additionally, we also explore several modifications and nuances, like optimization of the mixup ratio and geometrical label assignment, and discuss their impact on enhancing network robustness. Through these ideas, we have been able to train networks that robustly generalize better; experiments on CIFAR-10 and CIFAR-100 demonstrate consistent improvements in accuracy against strong adversaries, including the recent strong ensemble attack AutoAttack. Our source code would be released for reproducibility.