arXiv reaDer
Self-supervised Adversarial Training
 最近の研究により、ニューラルネットワークは敵対的な例に対して脆弱であることが実証されています。苦境から逃れるために、多くの作品がさまざまな方法でモデルを強化しようとしていますが、敵対的なトレーニングは敵対的な攻撃に抵抗するために堅牢な特徴表現を学習する効果的な方法です。一方、自己教師付き学習は、データ自体から堅牢で意味的な埋め込みを学習することを目的としています。これらの見解を用いて、本書の敵対的な例に対する自己監視学習を紹介します。具体的には、k-Nearest Neighborと組み合わせた自己監視表現が分類に提案されます。防御能力をさらに強化するために、元の例の表現と対応する敵の例の間の相互情報を最大化する、自己監督の敵訓練が提案されています。実験結果は、自己監視表現がロバスト性に関して自己監視バージョンよりも優れており、自己監視敵対訓練が防御能力を効率的にさらに改善できることを示しています。
Recent work has demonstrated that neural networks are vulnerable to adversarial examples. To escape from the predicament, many works try to harden the model in various ways, in which adversarial training is an effective way which learns robust feature representation so as to resist adversarial attacks. Meanwhile, the self-supervised learning aims to learn robust and semantic embedding from data itself. With these views, we introduce self-supervised learning to against adversarial examples in this paper. Specifically, the self-supervised representation coupled with k-Nearest Neighbour is proposed for classification. To further strengthen the defense ability, self-supervised adversarial training is proposed, which maximizes the mutual information between the representations of original examples and the corresponding adversarial examples. Experimental results show that the self-supervised representation outperforms its supervised version in respect of robustness and self-supervised adversarial training can further improve the defense ability efficiently.
updated: Sat Feb 01 2020 12:10:27 GMT+0000 (UTC)
published: Fri Nov 15 2019 04:13:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト