屋内ビデオでの頭部検出は、多くの実際のアプリケーションに不可欠なコンポーネントです。ディープモデルは、一般的なオブジェクト検出で目覚ましい進歩を遂げましたが、複雑な屋内シーンでは十分に満足できません。屋内監視ビデオには、雑然とした背景オブジェクトが含まれていることが多く、その中には頭のスケールが小さく、ポーズが多様です。この論文では、モーションアウェア疑似シャムネットワーク(MPSN)を提案します。これは、頭の動き情報を活用してディープモデルをガイドし、屋内シナリオで効果的な頭の特徴を抽出するエンドツーエンドのアプローチです。 MPSNは、隣接するフレームのピクセル単位の差を補助入力として使用することにより、人間の頭の動き情報を効果的に強化し、背景にある無関係なオブジェクトを削除します。以前の方法と比較して、2つの屋内ビデオデータセットで優れたパフォーマンスを実現します。私たちの実験は、MPSNが静的な背景オブジェクトを正常に抑制し、移動するインスタンス、特に屋内ビデオの人間の頭を強調表示することを示しています。また、さまざまな方法を比較して頭の動きをキャプチャします。これは、MPSNのシンプルさと柔軟性を示しています。最後に、MPSNのロバスト性を検証するために、ロバストなモデル選択のための小さな摂動の数学的ソリューションを使用して敵対的な実験を行います。コードはhttps://github.com/pl-share/MPSNで入手できます。
Head detection in the indoor video is an essential component of many real-world applications. While deep models have achieved remarkable progress in general object detection, they are not satisfying enough in complex indoor scenes. The indoor surveillance video often includes cluttered background objects, among which heads have small scales and diverse poses. In this paper, we propose Motion-aware Pseudo Siamese Network (MPSN), an end-to-end approach that leverages head motion information to guide the deep model to extract effective head features in indoor scenarios. By taking the pixel-wise difference of adjacent frames as the auxiliary input, MPSN effectively enhances human head motion information and removes the irrelevant objects in the background. Compared with prior methods, it achieves superior performance on the two indoor video datasets. Our experiments show that MPSN successfully suppresses static background objects and highlights the moving instances, especially human heads in indoor videos. We also compare different methods to capture head motion, which demonstrates the simplicity and flexibility of MPSN. Finally, to validate the robustness of MPSN, we conduct adversarial experiments with a mathematical solution of small perturbations for robust model selection. Code is available at https://github.com/pl-share/MPSN.