プライバシー保護アクション認識 (PPAR) の既存の方法は、主に 2D CNN によるフレームレベル (空間) プライバシーの除去に焦点を当てています。残念ながら、これらには 2 つの大きな欠点があります。まず、入力ビデオの時間的ダイナミクスが損なわれる可能性があります。これは、正確なアクション認識にとって重要です。第 2 に、攻撃者が個々のフレームではなくビデオ全体からプライバシーを調査するという実際の攻撃シナリオに対して脆弱です。これらの問題に対処するために、ビデオレベルの PPAR を実行するための新しいフレームワーク STPrivacy を提案します。ビデオをチューブレット シーケンスとして扱うことによって初めてビジョン トランスフォーマーを PPAR に導入し、それに応じて 2 つの補完的なメカニズム、つまりスパース化と匿名化を設計して、時空間的な観点からプライバシーを取り除きます。具体的には、当社のプライバシー希薄化メカニズムは、アダプティブ トークン選択を適用して、アクションに関係のないチューブレットを破棄します。次に、匿名化メカニズムが残りのアクション チューブレットを暗黙的に操作して、敵対的学習を通じて埋め込み空間のプライバシーを消去します。これらのメカニズムは、人間の目のプライバシー保護と、展開中のアクションとプライバシーのトレードオフ調整の点で大きな利点を提供します。さらに、最初の 2 つの大規模 PPAR ベンチマークである VP-HMDB51 と VP-UCF101 をコミュニティに提供します。それらの広範な評価と他の2つのタスクにより、フレームワークの有効性と一般化機能が検証されます。
Existing methods of privacy-preserving action recognition (PPAR) mainly focus on frame-level (spatial) privacy removal through 2D CNNs. Unfortunately, they have two major drawbacks. First, they may compromise temporal dynamics in input videos, which are critical for accurate action recognition. Second, they are vulnerable to practical attacking scenarios where attackers probe for privacy from an entire video rather than individual frames. To address these issues, we propose a novel framework STPrivacy to perform video-level PPAR. For the first time, we introduce vision Transformers into PPAR by treating a video as a tubelet sequence, and accordingly design two complementary mechanisms, i.e., sparsification and anonymization, to remove privacy from a spatio-temporal perspective. In specific, our privacy sparsification mechanism applies adaptive token selection to abandon action-irrelevant tubelets. Then, our anonymization mechanism implicitly manipulates the remaining action-tubelets to erase privacy in the embedding space through adversarial learning. These mechanisms provide significant advantages in terms of privacy preservation for human eyes and action-privacy trade-off adjustment during deployment. We additionally contribute the first two large-scale PPAR benchmarks, VP-HMDB51 and VP-UCF101, to the community. Extensive evaluations on them, as well as two other tasks, validate the effectiveness and generalization capability of our framework.