時間的アクション提案の生成は依然として非常に難しい問題であり、主な問題は、正確で時間的提案の境界を予測し、長くてトリミングされていない実世界のビデオの信頼できるアクションの信頼性にあります。この論文では、境界に敏感な手法からインスピレーションを得て、密集した提案の境界分類とアクション完全性回帰を実装する、Dense Boundary Generator(DBG)という名前の時間的アクション提案を生成するための効率的かつ統合されたフレームワークを提案します。特に、DBGは2つのモジュールで構成されています。時間境界分類(TBC)とアクション対応完全性回帰(ACR)です。 TBCは、低レベルの2ストリーム機能によって2つの時間境界信頼マップを提供することを目的としていますが、ACRは、高レベルのアクション認識機能によってアクション完全性スコアマップを生成するように設計されています。さらに、RGBおよびオプティカルフロー情報をエンコードするためのデュアルストリームBaseNet(DSB)を導入しました。人気のあるベンチマークActivityNet-1.3およびTHUMOS14での広範な実験により、DBGが最先端の提案ジェネレーター(MGGやBMNなど)よりも優れていることが実証されています。コードは公開時に利用可能になります。
Generating temporal action proposals remains a very challenging problem, where the main issue lies in predicting precise temporal proposal boundaries and reliable action confidence in long and untrimmed real-world videos. In this paper, we propose an efficient and unified framework to generate temporal action proposals named Dense Boundary Generator (DBG), which draws inspiration from boundary-sensitive methods and implements boundary classification and action completeness regression for densely distributed proposals. In particular, the DBG consists of two modules: Temporal boundary classification (TBC) and Action-aware completeness regression (ACR). The TBC aims to provide two temporal boundary confidence maps by low-level two-stream features, while the ACR is designed to generate an action completeness score map by high-level action-aware features. Moreover, we introduce a dual stream BaseNet (DSB) to encode RGB and optical flow information, which helps to capture discriminative boundary and actionness features. Extensive experiments on popular benchmarks ActivityNet-1.3 and THUMOS14 demonstrate the superiority of DBG over the state-of-the-art proposal generator (e.g., MGG and BMN). Our code will be made available upon publication.