自動運転および運転支援システムの安全性を確保するには、運転ビデオ内の交通事故を特定することが重要です。運転イベントのロングテール分布によって引き起こされる潜在的な危険に対処するために、既存の交通事故検出 (TAD) 手法は主に教師なし学習に依存しています。ただし、TAD は、運転シナリオでのカメラの素早い動きやダイナミックなシーンのため、依然として課題が残っています。既存の教師なし TAD 方法は主に単一の口実タスク、つまり外観ベースまたは将来の物体位置特定タスクに依存して事故を検出します。ただし、外観ベースのアプローチは、カメラの急速な動きや照明の変化によって簡単に妨害され、交通事故検出のパフォーマンスが大幅に低下します。将来の物体の位置特定に基づく方法は、ビデオフレームの外観の変化を捕捉できない可能性があり、自我に関係する事故(例えば、自車の制御不能)を検出することが困難になる。この論文では、運転ビデオにおける教師なし交通事故検出のための新しいメモリ拡張マルチタスク協調フレームワーク (MAMTCF) を提案します。以前のアプローチとは異なり、私たちの方法は、オプティカルフロー再構築と将来のオブジェクト位置特定タスクのコラボレーションを通じて、ビデオフレーム内の外観の変化とオブジェクトの動きを同時にモデル化することにより、自我に関係する事故と非自我に関係する事故の両方をより正確に検出できます。さらに、メモリ拡張動作表現メカニズムを導入して、さまざまなタイプの動作表現間の相互関係を完全に調査し、メモリに保存されている通常のトラフィックパターンの高レベルの機能を利用して動作表現を拡張し、異常との違いを拡大します。最近公開された大規模データセットの実験結果は、私たちの方法が以前の最先端のアプローチと比較して優れたパフォーマンスを達成することを示しています。
Identifying traffic accidents in driving videos is crucial to ensuring the safety of autonomous driving and driver assistance systems. To address the potential danger caused by the long-tailed distribution of driving events, existing traffic accident detection (TAD) methods mainly rely on unsupervised learning. However, TAD is still challenging due to the rapid movement of cameras and dynamic scenes in driving scenarios. Existing unsupervised TAD methods mainly rely on a single pretext task, i.e., an appearance-based or future object localization task, to detect accidents. However, appearance-based approaches are easily disturbed by the rapid movement of the camera and changes in illumination, which significantly reduce the performance of traffic accident detection. Methods based on future object localization may fail to capture appearance changes in video frames, making it difficult to detect ego-involved accidents (e.g., out of control of the ego-vehicle). In this paper, we propose a novel memory-augmented multi-task collaborative framework (MAMTCF) for unsupervised traffic accident detection in driving videos. Different from previous approaches, our method can more accurately detect both ego-involved and non-ego accidents by simultaneously modeling appearance changes and object motions in video frames through the collaboration of optical flow reconstruction and future object localization tasks. Further, we introduce a memory-augmented motion representation mechanism to fully explore the interrelation between different types of motion representations and exploit the high-level features of normal traffic patterns stored in memory to augment motion representations, thus enlarging the difference from anomalies. Experimental results on recently published large-scale dataset demonstrate that our method achieves better performance compared to previous state-of-the-art approaches.