arXiv reaDer
分散が最適化された固定埋め込み重みによる堅牢な DNN 透かし
Robust DNN Watermarking via Fixed Embedding Weights with Optimized Distribution
透かしは、ディープ ニューラル ネットワークの知的財産権を保護し、その使用を追跡する方法として提案されています。透かしをネットワークのトレーニング可能なパラメーター (ホワイト ボックス透かし) に埋め込む方法、または特定の入力に対応してネットワークによって実装される入出力マッピング (ブラック ボックス透かし) に埋め込む方法がいくつか提案されています。どちらの場合も、微調整、モデル圧縮、さらには転移学習に対するロバスト性を実現することは、研究者が直面している最も困難な課題の 1 つです。この論文では、転移学習のための再訓練に対するロバスト性を含む、強力なロバスト性特性を持つ新しいホワイトボックス、マルチビット透かしアルゴリズムを提案します。堅牢性は、透かしメッセージがいくつかの固定された重みに分散され、その位置が秘密鍵に依存するという新しい埋め込み戦略のおかげで達成されます。透かしをホストする重みは、トレーニングの前に設定され、トレーニング手順全体で変更されません。透かしを含む重みの分布は理論的に最適化され、透かしのない重みと区別できないようにすると同時に、振幅をできるだけ大きな値に設定して、再トレーニングに対する堅牢性を向上させます。ネットワークの精度に大きな影響を与えずに高いペイロードを提供すると同時に、再トレーニングや転移学習を含むネットワークの変更や再利用に対する優れた堅牢性を確保する提案されたスキームの機能を実証するいくつかの実験を実施しました。
Watermarking has been proposed as a way to protect the Intellectual Property Rights of Deep Neural Networks and track their use. Several methods have been proposed to embed the watermark into the trainable parameters of the network (white box watermarking) or into the input-output mapping implemented by the network in correspondence to specific inputs (black box watermarking). In both cases, achieving robustness against fine tuning, model compression and, even more, transfer learning, is one of the most difficult challenges researchers are facing with. In this paper, we propose a new white-box, multi-bit watermarking algorithm with strong robustness properties, including robustness against retraining for transfer learning. Robustness is achieved thanks to a new embedding strategy according to which the watermark message is spread across a number of fixed weights, whose position depends on a secret key. The weights hosting the watermark are set prior to training, and are left unchanged throughout the training procedure. The distribution of the weights carrying the watermark is theoretically optimised to make sure that they are indistinguishable from the non-watermarked weights, while at the same time setting their amplitude to as large as possible values to improve robustness against retraining. We carried out several experiments demonstrating the capability of the proposed scheme to provide high payloads with no significant impact on network accuracy, at the same time ensuring excellent robustness against network modifications an re-use, including retraining and transfer learning.
updated: Thu Nov 10 2022 07:59:37 GMT+0000 (UTC)
published: Tue Aug 23 2022 13:45:15 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト