arXiv reaDer
時間的行動検出のためのコンテキストアウェア提案ネットワーク
Context-aware Proposal Network for Temporal Action Detection
このテクニカルレポートは、CVPR-2022AcitivityNetチャレンジでの一時的なアクション検出タスクの最初の勝利ソリューションを示しています。このタスクは、トリミングされていない長いビデオの特定のクラスを使用して、アクションインスタンスの時間的境界をローカライズすることを目的としています。最近の主流の試みは、密な境界マッチングに基づいており、提案を作成するためにすべての可能な組み合わせを列挙します。生成された提案には豊富なコンテキスト情報が含まれているため、検出の信頼性予測に役立つ可能性があると主張します。この目的のために、私たちの方法は主に次の3つのステップで構成されています。1)Slowfast、CSN、TimeSformer、TSP、I3D-flow、VGGish-audio、TPN、ViViTによるアクション分類と特徴抽出。 2)提案の生成。提案されたコンテキストアウェア提案ネットワーク(CPN)は、BMN、GTAD、およびPRNの上に構築され、いくつかの提案機能をランダムにマスクすることによってコンテキスト情報を集約します。 3)アクション検出。最終的な検出予測は、対応するビデオレベルの分類結果を提案に割り当てることによって計算されます。最後に、さまざまな機能の組み合わせ設定で結果をアンサンブルし、テストセットで45.8%のパフォーマンスを達成します。これにより、CVPR-2021 ActivityNetチャレンジのチャンピオンの結果が平均mAPで1.1%向上します。
This technical report presents our first place winning solution for temporal action detection task in CVPR-2022 AcitivityNet Challenge. The task aims to localize temporal boundaries of action instances with specific classes in long untrimmed videos. Recent mainstream attempts are based on dense boundary matchings and enumerate all possible combinations to produce proposals. We argue that the generated proposals contain rich contextual information, which may benefits detection confidence prediction. To this end, our method mainly consists of the following three steps: 1) action classification and feature extraction by Slowfast, CSN, TimeSformer, TSP, I3D-flow, VGGish-audio, TPN and ViViT; 2) proposal generation. Our proposed Context-aware Proposal Network (CPN) builds on top of BMN, GTAD and PRN to aggregate contextual information by randomly masking some proposal features. 3) action detection. The final detection prediction is calculated by assigning the proposals with corresponding video-level classifcation results. Finally, we ensemble the results under different feature combination settings and achieve 45.8% performance on the test set, which improves the champion result in CVPR-2021 ActivityNet Challenge by 1.1% in terms of average mAP.
updated: Sat Jun 18 2022 01:43:43 GMT+0000 (UTC)
published: Sat Jun 18 2022 01:43:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト