arXiv reaDer
代表的なスニペット知識伝播による弱く監視された時間的行動のローカリゼーション
Weakly Supervised Temporal Action Localization via Representative Snippet Knowledge Propagation
弱く監視された時間的アクションのローカリゼーションは、アクションの時間的境界をローカライズすると同時に、ビデオレベルのカテゴリラベルのみでカテゴリを識別することを目的としています。多くの既存の方法は、分類とローカリゼーションの間の不一致を埋めるために疑似ラベルを生成しようとしますが、通常、疑似ラベル生成には限られたコンテキスト情報のみを使用します。この問題を軽減するために、代表的なスニペットの要約と伝播のフレームワークを提案します。私たちの方法は、各ビデオの代表的なスニペットをマイニングして、ビデオスニペット間で情報を伝播し、より適切な疑似ラベルを生成しようとします。ビデオごとに、独自の代表的なスニペットとメモリバンクからの代表的なスニペットが伝播され、ビデオ内およびビデオ間の方法で入力機能が更新されます。疑似ラベルは、更新された機能の時間クラスアクティベーションマップから生成され、メインブランチの予測を修正します。私たちの方法は、THUMOS14とActivityNet1.3の2つのベンチマークで既存の方法と比較して優れたパフォーマンスを実現し、THUMOS14の平均mAPで1.2%もの高いゲインを達成します。
Weakly supervised temporal action localization aims to localize temporal boundaries of actions and simultaneously identify their categories with only video-level category labels. Many existing methods seek to generate pseudo labels for bridging the discrepancy between classification and localization, but usually only make use of limited contextual information for pseudo label generation. To alleviate this problem, we propose a representative snippet summarization and propagation framework. Our method seeks to mine the representative snippets in each video for propagating information between video snippets to generate better pseudo labels. For each video, its own representative snippets and the representative snippets from a memory bank are propagated to update the input features in an intra- and inter-video manner. The pseudo labels are generated from the temporal class activation maps of the updated features to rectify the predictions of the main branch. Our method obtains superior performance in comparison to the existing methods on two benchmarks, THUMOS14 and ActivityNet1.3, achieving gains as high as 1.2% in terms of average mAP on THUMOS14.
updated: Fri Mar 11 2022 06:26:49 GMT+0000 (UTC)
published: Sun Mar 06 2022 09:53:55 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト