監視ビデオでの異常な行動の検出は、インテリジェントな都市の中心的な部分です。ほとんどの既存の方法は、異常を検出する方法のみを考慮し、異常の理由を説明することはあまり考慮していません。これらの異常行動の理由に基づいて、直交する視点を調査します。この目的のために、オブジェクト、アクション、モーションの3つのブランチを通じて各ターゲットを分析する多変量融合法を提案します。オブジェクトブランチは外観情報に焦点を合わせ、モーションブランチはモーションフィーチャの分布に焦点を合わせ、アクションブランチはターゲットのアクションカテゴリに焦点を合わせます。これらのブランチが焦点を当てている情報は異なり、互いに補完し合い、異常な動作を共同で検出できます。次に、3つのブランチの異常スコアを組み合わせることにより、最終的な異常スコアを取得できます。
Abnormal behavior detection in surveillance video is a pivotal part of the intelligent city. Most existing methods only consider how to detect anomalies, with less considering to explain the reason of the anomalies. We investigate an orthogonal perspective based on the reason of these abnormal behaviors. To this end, we propose a multivariate fusion method that analyzes each target through three branches: object, action and motion. The object branch focuses on the appearance information, the motion branch focuses on the distribution of the motion features, and the action branch focuses on the action category of the target. The information that these branches focus on is different, and they can complement each other and jointly detect abnormal behavior. The final abnormal score can then be obtained by combining the abnormal scores of the three branches.