コンピューター ビジョン タスク用のニューラル ネットワークをトレーニングするために、人間に関する大量のデータが収集されます。ソフトウェア エンジニアに関連して、AI システムの開発を改善することと、機密性の高いトレーニング データから距離を置くこととの間の大きな対立が明らかになりました。この矛盾を調整するために、この論文では、効率的なプライバシー保護学習パラダイムを提案します。このパラダイムでは、まず画像が暗号化されて、次の 2 つの暗号化戦略のいずれかによって「人間には知覚できず、機械が認識できる」ようになります。 (1) セットへのランダム シャッフル等しいサイズのパッチ、および (2) 画像のサブパッチの混合。次に、ビジョン トランスフォーマーに最小限の適応が行われ、画像分類やオブジェクト検出などのビジョン タスクのために暗号化された画像を学習できるようになります。 ImageNet と COCO に関する広範な実験により、提案されたパラダイムが競合手法と同等の精度を達成できることが示されました。暗号化された画像を復号するには、NP 困難なジグソーパズルまたは不適切な逆問題を解く必要がありますが、これは、強力なビジョン トランスフォーマー ベースの攻撃者を含むさまざまな攻撃者によって回復するのが難しいことが経験的に示されています。したがって、提案されたパラダイムにより、機械が認識可能な情報を維持しながら、暗号化された画像が人間には認識不可能になることが保証できることを示します。コードは https://github.com/FushengHao/PrivacyPreservingML で入手できます。
Massive human-related data is collected to train neural networks for computer vision tasks. A major conflict is exposed relating to software engineers between better developing AI systems and distancing from the sensitive training data. To reconcile this conflict, this paper proposes an efficient privacy-preserving learning paradigm, where images are first encrypted to become ``human-imperceptible, machine-recognizable'' via one of the two encryption strategies: (1) random shuffling to a set of equally-sized patches and (2) mixing-up sub-patches of the images. Then, minimal adaptations are made to vision transformer to enable it to learn on the encrypted images for vision tasks, including image classification and object detection. Extensive experiments on ImageNet and COCO show that the proposed paradigm achieves comparable accuracy with the competitive methods. Decrypting the encrypted images requires solving an NP-hard jigsaw puzzle or an ill-posed inverse problem, which is empirically shown intractable to be recovered by various attackers, including the powerful vision transformer-based attacker. We thus show that the proposed paradigm can ensure the encrypted images have become human-imperceptible while preserving machine-recognizable information. The code is available at https://github.com/FushengHao/PrivacyPreservingML.