arXiv reaDer
メモリ増強フロー再構成とフローガイドフレーム予測によるハイブリッドビデオ異常検出フレームワーク
A Hybrid Video Anomaly Detection Framework via Memory-Augmented Flow Reconstruction and Flow-Guided Frame Prediction
この論文では、ビデオ異常検出を処理するためにフロー再構成とフレーム予測をシームレスに統合するハイブリッドフレームワークであるHF ^ 2-VADを提案します。まず、ML-MemAE-SC(スキップ接続を備えたオートエンコーダのマルチレベルメモリモジュール)のネットワークを設計して、オプティカルフロー再構築の通常のパターンを記憶し、異常なイベントをより大きなフロー再構築エラーで高感度に識別できるようにします。さらに重要なことに、再構築されたフローを条件として、ビデオフレームとオプティカルフローの間の高い相関関係をキャプチャする条件付き変分オートエンコーダ(CVAE)を使用して、前のいくつかのフレームが与えられた場合の次のフレームを予測します。 CVAEによると、フロー再構成の品質は基本的にフレーム予測の品質に影響を与えます。したがって、異常なイベントの再構築が不十分なオプティカルフローは、最終的に予測される将来のフレームの品質をさらに低下させ、異常をより検出しやすくします。実験結果は提案された方法の有効性を示している。コードはhttps://github.com/LiUzHiAn/hf2vadhttps://github.com/LiUzHiAn/hf2vadで入手できます。
In this paper, we propose HF^2-VAD, a Hybrid framework that integrates Flow reconstruction and Frame prediction seamlessly to handle Video Anomaly Detection. Firstly, we design the network of ML-MemAE-SC (Multi-Level Memory modules in an Autoencoder with Skip Connections) to memorize normal patterns for optical flow reconstruction so that abnormal events can be sensitively identified with larger flow reconstruction errors. More importantly, conditioned on the reconstructed flows, we then employ a Conditional Variational Autoencoder (CVAE), which captures the high correlation between video frame and optical flow, to predict the next frame given several previous frames. By CVAE, the quality of flow reconstruction essentially influences that of frame prediction. Therefore, poorly reconstructed optical flows of abnormal events further deteriorate the quality of the final predicted future frame, making the anomalies more detectable. Experimental results demonstrate the effectiveness of the proposed method. Code is available at https://github.com/LiUzHiAn/hf2vadhttps://github.com/LiUzHiAn/hf2vad.
updated: Mon Aug 16 2021 01:37:29 GMT+0000 (UTC)
published: Mon Aug 16 2021 01:37:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト