arXiv reaDer
ディープ ランキングでの敵対的な攻撃と防御
Adversarial Attack and Defense in Deep Ranking
ディープ ニューラル ネットワークの分類器は、知覚できないほどの混乱が誤分類につながる可能性がある敵対的攻撃に対して脆弱です。ただし、DNN ベースの画像ランキング システムの脆弱性はまだ十分に調査されていません。この論文では、敵対的摂動によって選択された候補のランクを上げたり下げたりできる、深いランク付けシステム、つまり候補者攻撃とクエリ攻撃に対する 2 つの攻撃を提案します。具体的には、期待されるランキング順序は最初に不等式のセットとして表され、次に、最適な摂動を得るためにトリプレットのような目的関数が設計されます。逆に、提案されたすべての攻撃に対するランキング モデルの堅牢性を向上させるために、崩壊防止トリプレット防御が提案されています。このモデルは、敵対的攻撃によって正と負のサンプルが互いに近くに引っ張られるのを防ぐことを学習します。ランキング モデルの経験的敵対的堅牢性を私たちの防御で包括的に測定するために、ランキング モデルに対する一連の代表的な攻撃を含む経験的堅牢性スコアを提案します。私たちの敵対的ランキング攻撃と防御は、MNIST、Fashion-MNIST、CUB200-2011、CARS196、Stanford Online Products データセットで評価されます。実験結果は、典型的な深いランク付けシステムが私たちの攻撃によって効果的に侵害される可能性があることを示しています。それにもかかわらず、私たちの防御はランキング システムの堅牢性を大幅に改善し、同時に幅広い攻撃を軽減することができます。
Deep Neural Network classifiers are vulnerable to adversarial attack, where an imperceptible perturbation could result in misclassification. However, the vulnerability of DNN-based image ranking systems remains under-explored. In this paper, we propose two attacks against deep ranking systems, i.e., Candidate Attack and Query Attack, that can raise or lower the rank of chosen candidates by adversarial perturbations. Specifically, the expected ranking order is first represented as a set of inequalities, and then a triplet-like objective function is designed to obtain the optimal perturbation. Conversely, an anti-collapse triplet defense is proposed to improve the ranking model robustness against all proposed attacks, where the model learns to prevent the positive and negative samples being pulled close to each other by adversarial attack. To comprehensively measure the empirical adversarial robustness of a ranking model with our defense, we propose an empirical robustness score, which involves a set of representative attacks against ranking models. Our adversarial ranking attacks and defenses are evaluated on MNIST, Fashion-MNIST, CUB200-2011, CARS196 and Stanford Online Products datasets. Experimental results demonstrate that a typical deep ranking system can be effectively compromised by our attacks. Nevertheless, our defense can significantly improve the ranking system robustness, and simultaneously mitigate a wide range of attacks.
updated: Mon Jun 07 2021 13:41:45 GMT+0000 (UTC)
published: Mon Jun 07 2021 13:41:45 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト