arXiv reaDer
2ストリームコンセンサスネットワーク:HACSチャレンジ2021への提出弱教師あり学習トラック
Two-Stream Consensus Network: Submission to HACS Challenge 2021 Weakly-Supervised Learning Track
このテクニカルレポートは、HACS時間的アクションローカリゼーションチャレンジ2021、弱教師あり学習トラックに対するソリューションを示しています。弱く監視された時間的アクションのローカリゼーションの目標は、ビデオレベルのラベルのみが与えられたトリミングされていないビデオで関心のあるアクションを時間的に見つけて分類することです。この課題のメインフレームワークとして、2ストリームコンセンサスネットワーク(TSCN)を採用しています。 TSCNは、2ストリームベースモデルトレーニング手順と疑似グラウンドトゥルース学習手順で構成されています。基本モデルのトレーニングは、モデルが単一のモダリティ(つまり、RGBまたはオプティカルフロー)に基づいて信頼できる予測を予測することを奨励します。これに基づいて、疑似グラウンドトゥルースが生成され、基本モデルをトレーニングするための監視として使用されます。 HACS v1.1.1データセットでは、特徴抽出I3Dモデルを微調整せずに、平均mAPに関して、検証セットで22.20%、テストセットで21.68%を達成しています。私たちのソリューションはこの課題で2位にランクされており、私たちの方法が将来の学術研究のベースラインとして役立つことを願っています。
This technical report presents our solution to the HACS Temporal Action Localization Challenge 2021, Weakly-Supervised Learning Track. The goal of weakly-supervised temporal action localization is to temporally locate and classify action of interest in untrimmed videos given only video-level labels. We adopt the two-stream consensus network (TSCN) as the main framework in this challenge. The TSCN consists of a two-stream base model training procedure and a pseudo ground truth learning procedure. The base model training encourages the model to predict reliable predictions based on single modality (i.e., RGB or optical flow), based on the fusion of which a pseudo ground truth is generated and in turn used as supervision to train the base models. On the HACS v1.1.1 dataset, without fine-tuning the feature-extraction I3D models, our method achieves 22.20% on the validation set and 21.68% on the testing set in terms of average mAP. Our solution ranked the 2rd in this challenge, and we hope our method can serve as a baseline for future academic research.
updated: Sun Jul 11 2021 06:35:57 GMT+0000 (UTC)
published: Mon Jun 21 2021 03:36:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト