敵対的トレーニングは、モデルのロバスト性を向上させるために、最近のコンピューター ビジョン研究で積極的に研究されています。ただし、敵対的サンプルの生成には膨大な計算コストがかかるため、敵対的トレーニング方法はしばしば遅くなります。この論文では、データセットで自然にトレーニングされた分類器が敵対的に堅牢であるように、堅牢なデータセットを学習する問題を研究します。このようなデータセットは、自然なトレーニングが敵対的なトレーニングよりもはるかに高速であるため、下流のタスクに役立ち、ロバスト性の望ましい特性がモデルとデータ間で転送可能であることを示しています。この作業では、堅牢なデータセット学習問題を定式化するために、原理に基づいた 3 レベルの最適化を提案します。堅牢な機能と非堅牢な機能を特徴付ける抽象化モデルの下で、提案された方法が堅牢なデータセットを確実に学習することを示します。 MNIST、CIFAR10、および TinyImageNet での広範な実験により、さまざまなネットワークの初期化とアーキテクチャでのアルゴリズムの有効性が実証されています。
Adversarial training has been actively studied in recent computer vision research to improve the robustness of models. However, due to the huge computational cost of generating adversarial samples, adversarial training methods are often slow. In this paper, we study the problem of learning a robust dataset such that any classifier naturally trained on the dataset is adversarially robust. Such a dataset benefits the downstream tasks as natural training is much faster than adversarial training, and demonstrates that the desired property of robustness is transferable between models and data. In this work, we propose a principled, tri-level optimization to formulate the robust dataset learning problem. We show that, under an abstraction model that characterizes robust vs. non-robust features, the proposed method provably learns a robust dataset. Extensive experiments on MNIST, CIFAR10, and TinyImageNet demostrate the effectiveness of our algorithm with different network initializations and architectures.