画像などの豊富な視覚データがアイテムと容易に関連付けられるようになったことで、視覚認識レコメンデーション システム (VARS) がさまざまなアプリケーションで広く使用されてきました。最近の研究では、VARS はアイテム画像に対する敵対的攻撃に対して脆弱であることが示されています。敵対的攻撃は、それらのアイテムに関連付けられたクリーンな画像に人間には知覚できない摂動を加えます。 VARS に対する攻撃は、VARS が広く使用されている電子商取引やソーシャル ネットワークなどの幅広いアプリケーションにセキュリティ上の新たな課題をもたらします。このような敵対的な攻撃から VARS をどのように保護するかが重要な問題になります。現在、VARS に対する視覚的攻撃に対する安全な防御戦略を設計する方法に関する体系的な研究がまだ不足しています。この論文では、VARS を保護するための敵対的画像再構成および検出フレームワークを提案することで、このギャップを埋めることを試みます。我々が提案する方法は同時に、(1) グローバル ビジョン トランスフォーマーに基づく画像再構成により、局所的な摂動を特徴とする敵対的攻撃から VARS を保護することができます。 (2) 新しい対比学習アプローチを使用して、敵対的な例を正確に検出します。一方、私たちのフレームワークはフィルターと検出器の両方として使用できるように設計されており、これらを共同でトレーニングして、さまざまな攻撃や VARS モデルに対する防御戦略の柔軟性を向上させることができます。私たちは 2 つの一般的な攻撃方法 (FGSM と PGD) を使用して広範な実験研究を実施しました。 2 つの現実世界のデータセットに関する実験結果は、視覚的な攻撃に対する防御戦略が効果的であり、さまざまな攻撃に対して既存の方法よりも優れていることを示しています。さらに、我々の手法は敵対例を高精度に検出できます。
With rich visual data, such as images, becoming readily associated with items, visually-aware recommendation systems (VARS) have been widely used in different applications. Recent studies have shown that VARS are vulnerable to item-image adversarial attacks, which add human-imperceptible perturbations to the clean images associated with those items. Attacks on VARS pose new security challenges to a wide range of applications such as e-Commerce and social networks where VARS are widely used. How to secure VARS from such adversarial attacks becomes a critical problem. Currently, there is still a lack of systematic study on how to design secure defense strategies against visual attacks on VARS. In this paper, we attempt to fill this gap by proposing an adversarial image reconstruction and detection framework to secure VARS. Our proposed method can simultaneously (1) secure VARS from adversarial attacks characterized by local perturbations by image reconstruction based on global vision transformers; and (2) accurately detect adversarial examples using a novel contrastive learning approach. Meanwhile, our framework is designed to be used as both a filter and a detector so that they can be jointly trained to improve the flexibility of our defense strategy to a variety of attacks and VARS models. We have conducted extensive experimental studies with two popular attack methods (FGSM and PGD). Our experimental results on two real-world datasets show that our defense strategy against visual attacks is effective and outperforms existing methods on different attacks. Moreover, our method can detect adversarial examples with high accuracy.