スマートカメラアプリケーションで重要性が増している問題であるディープラーニングにおけるプライバシー保護のビデオベースの行動認識を調査します。ターゲットユーティリティタスクのパフォーマンスと関連するプライバシー予算の間のトレードオフが匿名化されたビデオで明示的に最適化されるように、入力ビデオの匿名化変換を学習するために、新しい敵対的トレーニングフレームワークが策定されます。特に、タスク駆動型のコンテキストで定義および測定されることが多いプライバシーバジェットは、個人情報を盗もうとする悪意のあるモデルに対してプライバシーの強力な保護を維持する必要があるため、単一モデルのパフォーマンスを使用して確実に示すことはできません。この問題に取り組むために、モデルの再起動とモデルアンサンブルの2つの新しい最適化戦略を提案し、攻撃者モデルに対してより強力なユニバーサルプライバシー保護を実現します。広範な実験が実施され、分析されています。一方、ユーティリティラベルとプライバシーラベルの両方で利用できる公開データセットがほとんどない場合、データ駆動型(教師あり)学習はこのタスクに全力を発揮できません。最初に、クロスデータセットのトレーニングと評価の革新的なヒューリスティックについて説明します。これにより、問題で複数の単一タスクデータセット(1つはターゲットタスクラベル、もう1つはプライバシーラベル)を使用できるようになります。このデータセットの課題にさらに対処するために、PA-HMDB51と呼ばれる新しいデータセットを構築し、ターゲットタスクラベル(アクション)と選択したプライバシー属性(肌の色、顔、性別、ヌード、関係)の両方にフレームごとに注釈を付けました基礎。この初めてのビデオデータセットと評価プロトコルは、視覚的なプライバシー調査を大幅に促進し、他の機会を開くことができます。コード、モデル、およびPA-HMDB51データセットは、https://github.com/VITA-Group/PA-HMDB51で入手できます。
We investigate privacy-preserving, video-based action recognition in deep learning, a problem with growing importance in smart camera applications. A novel adversarial training framework is formulated to learn an anonymization transform for input videos such that the trade-off between target utility task performance and the associated privacy budgets is explicitly optimized on the anonymized videos. Notably, the privacy budget, often defined and measured in task-driven contexts, cannot be reliably indicated using any single model performance because strong protection of privacy should sustain against any malicious model that tries to steal private information. To tackle this problem, we propose two new optimization strategies of model restarting and model ensemble to achieve stronger universal privacy protection against any attacker models. Extensive experiments have been carried out and analyzed. On the other hand, given few public datasets available with both utility and privacy labels, the data-driven (supervised) learning cannot exert its full power on this task. We first discuss an innovative heuristic of cross-dataset training and evaluation, enabling the use of multiple single-task datasets (one with target task labels and the other with privacy labels) in our problem. To further address this dataset challenge, we have constructed a new dataset, termed PA-HMDB51, with both target task labels (action) and selected privacy attributes (skin color, face, gender, nudity, and relationship) annotated on a per-frame basis. This first-of-its-kind video dataset and evaluation protocol can greatly facilitate visual privacy research and open up other opportunities. Our codes, models, and the PA-HMDB51 dataset are available at https://github.com/VITA-Group/PA-HMDB51.