arXiv reaDer
MVP:アクションローカリゼーションを推進するための堅牢なマルチビュープラクティス
MVP: Robust Multi-View Practice for Driving Action Localization
脇見運転は年間数千人の死者を出し、これらの悲劇を防ぐためにディープラーニング手法をどのように適用するかが重要な問題になっています。第6回AICityChallengeのTrack3では、研究者が高密度のアクションアノテーションを備えた高品質のビデオデータセットを提供しています。データスケールが小さく、アクションの境界が不明確であるため、データセットには、すべての異なるアクションを正確にローカライズし、それらのカテゴリを分類するという独自の課題があります。この論文では、ビデオ間のマルチビュー同期をうまく利用し、アクションのローカリゼーションを推進するための堅牢なマルチビュープラクティス(MVP)を実施します。過剰適合を回避するために、特徴抽出器としてKinetics-700の事前トレーニングを使用してSlowFastを微調整します。次に、さまざまなビューの機能がActionFormerに渡され、候補アクションの提案が生成されます。すべてのアクションを正確にローカライズするために、モデルの投票、しきい値のフィルタリング、重複の削除など、複雑な後処理を設計します。結果は、MVPがアクションのローカリゼーションを推進するために堅牢であることを示しています。これにより、Track3テストセットで28.49%のF1スコアが達成されます。
Distracted driving causes thousands of deaths per year, and how to apply deep-learning methods to prevent these tragedies has become a crucial problem. In Track3 of the 6th AI City Challenge, researchers provide a high-quality video dataset with densely action annotations. Due to the small data scale and unclear action boundary, the dataset presents a unique challenge to precisely localize all the different actions and classify their categories. In this paper, we make good use of the multi-view synchronization among videos, and conduct robust Multi-View Practice (MVP) for driving action localization. To avoid overfitting, we fine-tune SlowFast with Kinetics-700 pre-training as the feature extractor. Then the features of different views are passed to ActionFormer to generate candidate action proposals. For precisely localizing all the actions, we design elaborate post-processing, including model voting, threshold filtering and duplication removal. The results show that our MVP is robust for driving action localization, which achieves 28.49% F1-score in the Track3 test set.
updated: Tue Jul 05 2022 13:38:10 GMT+0000 (UTC)
published: Tue Jul 05 2022 13:38:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト