ビデオの異常検出は、外観、ポーズ、カメラ アングル、背景などの多くのパラメーターに依存するため、適切でない問題です。人間のポーズの異常検出に問題を抽出し、結果に影響を与える外観などの迷惑なパラメーターのリスクを減らします。ポーズだけに焦点を当てることには、特定の少数派グループに対する偏見を減らすという副次的な利点もあります。私たちのモデルは人間のポーズ グラフ シーケンスで直接動作し、非常に軽量 (~1K パラメーター) であり、ごくわずかな追加リソースでポーズ推定を実行できる任意のマシンで実行できます。正規化フロー フレームワークで非常にコンパクトなポーズ表現を活用します。これを拡張して、時空間ポーズ データの固有の特性に取り組み、このユース ケースでその利点を示します。私たちのアルゴリズムは、正規化フローを使用して、時空間グラフ畳み込みブロックを使用して、姿勢データ分布とガウス分布の間の全単射マッピングを学習します。このアルゴリズムは非常に一般的であり、正常な例のみのトレーニング データと、ラベル付けされた正常な例と異常な例で構成される教師ありデータセットを処理できます。教師なしの ShanghaiTech データセットと最近の教師ありの UBnormal データセットという 2 つの異常検出ベンチマークに関する最先端の結果を報告します。
Video anomaly detection is an ill-posed problem because it relies on many parameters such as appearance, pose, camera angle, background, and more. We distill the problem to anomaly detection of human pose, thus reducing the risk of nuisance parameters such as appearance affecting the result. Focusing on pose alone also has the side benefit of reducing bias against distinct minority groups. Our model works directly on human pose graph sequences and is exceptionally lightweight (∼1K parameters), capable of running on any machine able to run the pose estimation with negligible additional resources. We leverage the highly compact pose representation in a normalizing flows framework, which we extend to tackle the unique characteristics of spatio-temporal pose data and show its advantages in this use case. Our algorithm uses normalizing flows to learn a bijective mapping between the pose data distribution and a Gaussian distribution, using spatio-temporal graph convolution blocks. The algorithm is quite general and can handle training data of only normal examples, as well as a supervised dataset that consists of labeled normal and abnormal examples. We report state-of-the-art results on two anomaly detection benchmarks - the unsupervised ShanghaiTech dataset and the recent supervised UBnormal dataset.