arXiv reaDer
ロバストなモデルは自信過剰ではない
Robust Models are less Over-Confident
畳み込みニューラル ネットワーク (CNN) は、コンピューター ビジョン タスクの多くの学術的ベンチマークで成功を収めていますが、現実世界でのそれらのアプリケーションは依然として根本的な課題に直面しています。これらの未解決の問題の 1 つは、敵対的攻撃の顕著な有効性によって明らかになった、固有の堅牢性の欠如です。現在の攻撃方法は、特定の、しかし少量のノイズを入力に追加することによって、ネットワークの予測を操作することができます。次に、敵対的トレーニング (AT) は、このような攻撃に対する堅牢性を達成し、理想的には、トレーニングセットに敵対的サンプルを含めることにより、より優れたモデル一般化能力を達成することを目的としています。ただし、敵対的ロバスト性を超えた結果のロバスト モデルの詳細な分析はまだ保留中です。この論文では、最先端の攻撃に直面したときに高いロバスト精度を達成するさまざまな敵対的に訓練されたモデルを経験的に分析し、AT には興味深い副作用があることを示します。頑健でないモデルよりもきれいなデータであっても、彼らの決定。さらに、堅牢なモデルの分析では、AT だけでなく、モデルの構成要素 (活性化関数やプーリングなど) もモデルの予測信頼度に強い影響を与えることが示されています。データとプロジェクトのウェブサイト: https://github.com/GeJulia/robustness_confidences_evaluation
Despite the success of convolutional neural networks (CNNs) in many academic benchmarks for computer vision tasks, their application in the real-world is still facing fundamental challenges. One of these open problems is the inherent lack of robustness, unveiled by the striking effectiveness of adversarial attacks. Current attack methods are able to manipulate the network's prediction by adding specific but small amounts of noise to the input. In turn, adversarial training (AT) aims to achieve robustness against such attacks and ideally a better model generalization ability by including adversarial samples in the trainingset. However, an in-depth analysis of the resulting robust models beyond adversarial robustness is still pending. In this paper, we empirically analyze a variety of adversarially trained models that achieve high robust accuracies when facing state-of-the-art attacks and we show that AT has an interesting side-effect: it leads to models that are significantly less overconfident with their decisions, even on clean data than non-robust models. Further, our analysis of robust models shows that not only AT but also the model's building blocks (like activation functions and pooling) have a strong influence on the models' prediction confidences. Data & Project website: https://github.com/GeJulia/robustness_confidences_evaluation
updated: Wed Oct 12 2022 06:14:55 GMT+0000 (UTC)
published: Wed Oct 12 2022 06:14:55 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト