最近の研究では、知覚できない摂動を適用して、学習不可能な例(ULE)を作成できることが示されています。つまり、トレーニング中に分類子を改善するためにコンテンツを使用できない画像です。この論文では、ULEを理解し、ULEが最初に作成されたとおりに改善するために研究者がたどるべき道を明らかにします(ULEO)。この論文は4つの貢献をしています。まず、ULEOが色を悪用し、その結果、敵対的なトレーニングに頼ることなく、単純なグレースケールの事前フィルタリングによってその影響を軽減できることを示します。次に、ULEO-GrayAugsと呼ばれるULEOの拡張を提案します。これは、最適化中にグレースケールの知識とデータ拡張を利用することにより、生成されたULEをチャネルごとの色の摂動から遠ざけます。第3に、多層パーセプトロン(MLP)を使用して生成されたULEOが、複雑な畳み込みニューラルネットワーク(CNN)分類器の場合に効果的であることを示します。これは、CNNがULEに対して特定の脆弱性を抱えていることを示唆しています。第4に、分類器がULEOでトレーニングされている場合、敵対的トレーニングにより、クリーンな画像と敵対的画像の両方で測定された精度の低下が防止されることを示します。まとめると、私たちの貢献は、学習不可能な例の最先端の大幅な進歩を表していますが、さらなる改善を達成するために、よりよく理解する必要がある彼らの行動の重要な特徴も明らかにしています。
Recent work has shown that imperceptible perturbations can be applied to craft unlearnable examples (ULEs), i.e. images whose content cannot be used to improve a classifier during training. In this paper, we reveal the road that researchers should follow for understanding ULEs and improving ULEs as they were originally formulated (ULEOs). The paper makes four contributions. First, we show that ULEOs exploit color and, consequently, their effects can be mitigated by simple grayscale pre-filtering, without resorting to adversarial training. Second, we propose an extension to ULEOs, which is called ULEO-GrayAugs, that forces the generated ULEs away from channel-wise color perturbations by making use of grayscale knowledge and data augmentations during optimization. Third, we show that ULEOs generated using Multi-Layer Perceptrons (MLPs) are effective in the case of complex Convolutional Neural Network (CNN) classifiers, suggesting that CNNs suffer specific vulnerability to ULEs. Fourth, we demonstrate that when a classifier is trained on ULEOs, adversarial training will prevent a drop in accuracy measured both on clean images and on adversarial images. Taken together, our contributions represent a substantial advance in the state of art of unlearnable examples, but also reveal important characteristics of their behavior that must be better understood in order to achieve further improvements.