多くのアプリケーションシナリオで大きな成功を収めているにもかかわらず、ディープラーニングは深刻な知的財産(IP)侵害の脅威に直面しています。優れたモデルの設計とトレーニングのコストを考慮すると、侵害は元のモデル所有者の利益を著しく侵害します。最近、深いモデルのIP保護のために多くの印象的な作品が登場しました。ただし、あいまいさの攻撃に対して脆弱であるか、元の正規化レイヤーを置き換えることによってターゲットネットワーク構造を変更する必要があるため、パフォーマンスが大幅に低下します。この目的のために、新しいパスポート対応の正規化定式化を提案します。これは、ほとんどの既存の正規化レイヤーに一般的に適用でき、IP保護のために別のパスポート対応ブランチを追加するだけで済みます。この新しいブランチは、ターゲットモデルと共同でトレーニングされますが、推論段階で破棄されます。したがって、ターゲットモデルの構造は変更されません。モデルIPが誰かに盗まれた疑いがある場合にのみ、所有権の確認のためにプライベートパスポート対応ブランチが追加されます。広範な実験を通じて、画像と3Dポイント認識モデルの両方でその有効性を検証します。微調整やモデル圧縮などの一般的な攻撃手法だけでなく、あいまいな攻撃に対しても堅牢であることが実証されています。トリガーセットベースの方法とさらに組み合わせることにより、ブラックボックスとホワイトボックスの両方の検証を実現して、実際のシステムにデプロイされた深層学習モデルのセキュリティを強化できます。コードはhttps://github.com/ZJZAC/Passport-aware-Normalizationにあります。
Despite tremendous success in many application scenarios, deep learning faces serious intellectual property (IP) infringement threats. Considering the cost of designing and training a good model, infringements will significantly infringe the interests of the original model owner. Recently, many impressive works have emerged for deep model IP protection. However, they either are vulnerable to ambiguity attacks, or require changes in the target network structure by replacing its original normalization layers and hence cause significant performance drops. To this end, we propose a new passport-aware normalization formulation, which is generally applicable to most existing normalization layers and only needs to add another passport-aware branch for IP protection. This new branch is jointly trained with the target model but discarded in the inference stage. Therefore it causes no structure change in the target model. Only when the model IP is suspected to be stolen by someone, the private passport-aware branch is added back for ownership verification. Through extensive experiments, we verify its effectiveness in both image and 3D point recognition models. It is demonstrated to be robust not only to common attack techniques like fine-tuning and model compression, but also to ambiguity attacks. By further combining it with trigger-set based methods, both black-box and white-box verification can be achieved for enhanced security of deep learning models deployed in real systems. Code can be found at https://github.com/ZJZAC/Passport-aware-Normalization.