最近、ビジョン トランスフォーマー (ViT) は、コンピューター ビジョン タスクにおいて従来の CNN を凌駕し始めています。 ViT によるプライバシー保護分散学習を考慮すると、フェデレーテッド ラーニング (FL) はモデルを伝達しますが、ViT の大きなモデル サイズとコンピューティング コストのために、これは不適切になります。分割学習 (SL) は、破砕データをカットレイヤーで通信することでこれを迂回しますが、ViT の破砕データと入力データの類似性が高いため、データのプライバシー漏洩や通信コストが大きくなります。この問題に動機付けられて、DP パッチ レベルのランダム化された CutMix (DP-CutMix) を開発することにより、差分プライベート (DP) SL フレームワークである DP-CutMixSL を提案します。データ。実験により、DP-CutMixSL はプライバシー保証と通信効率を高めるだけでなく、バニラ SL よりも高い精度を達成することが示されています。理論的には、DP-CutMix が Rényi DP (RDP) を増幅することを分析します。Rényi DP (RDP) は、対応する Vanilla Mixup によって上限があります。
Recently, vision transformer (ViT) has started to outpace the conventional CNN in computer vision tasks. Considering privacy-preserving distributed learning with ViT, federated learning (FL) communicates models, which becomes ill-suited due to ViT' s large model size and computing costs. Split learning (SL) detours this by communicating smashed data at a cut-layer, yet suffers from data privacy leakage and large communication costs caused by high similarity between ViT' s smashed data and input data. Motivated by this problem, we propose DP-CutMixSL, a differentially private (DP) SL framework by developing DP patch-level randomized CutMix (DP-CutMix), a novel privacy-preserving inter-client interpolation scheme that replaces randomly selected patches in smashed data. By experiment, we show that DP-CutMixSL not only boosts privacy guarantees and communication efficiency, but also achieves higher accuracy than its Vanilla SL counterpart. Theoretically, we analyze that DP-CutMix amplifies Rényi DP (RDP), which is upper-bounded by its Vanilla Mixup counterpart.