信頼できないソースからトレーニングデータを収集すると、機械学習サービスが中毒の攻撃者にさらされます。攻撃者は、トレーニングデータを悪意を持って操作して、モデルの精度を低下させます。オフラインデータセットでトレーニングする場合、中毒の攻撃者はトレーニングの前に事前に中毒データを注入する必要があり、これらの中毒バッチをモデルにフィードする順序は確率的です。対照的に、実際のシステムは通常、順次キャプチャされたリアルタイムデータでトレーニング/微調整されます。この場合、中毒の攻撃者は、現在のモデルの状態に従って各データバッチを動的に中毒する可能性があります。この論文では、リアルタイム設定に焦点を当て、累積フェーズをポイズニング攻撃と関連付けて、(ポイズニングされた)トリガーバッチの破壊的効果を密かに(つまり、精度に影響を与えずに)拡大する新しい攻撃戦略を提案します。 MNISTとCIFAR-10でオンライン学習と連合学習を模倣することにより、累積フェーズ後のトリガーバッチの単一の更新ステップによってモデルの精度が大幅に低下することを示します。私たちの仕事は、うまく設計されているが簡単な攻撃戦略が、複雑な技術を探求する必要なしに、中毒の影響を劇的に増幅できることを検証します。
Collecting training data from untrusted sources exposes machine learning services to poisoning adversaries, who maliciously manipulate training data to degrade the model accuracy. When trained on offline datasets, poisoning adversaries have to inject the poisoned data in advance before training, and the order of feeding these poisoned batches into the model is stochastic. In contrast, practical systems are more usually trained/fine-tuned on sequentially captured real-time data, in which case poisoning adversaries could dynamically poison each data batch according to the current model state. In this paper, we focus on the real-time settings and propose a new attacking strategy, which affiliates an accumulative phase with poisoning attacks to secretly (i.e., without affecting accuracy) magnify the destructive effect of a (poisoned) trigger batch. By mimicking online learning and federated learning on MNIST and CIFAR-10, we show that model accuracy significantly drops by a single update step on the trigger batch after the accumulative phase. Our work validates that a well-designed but straightforward attacking strategy can dramatically amplify the poisoning effects, with no need to explore complex techniques.