Temporal Action Localization(TAL)は、教師あり学習パラダイムの下で目覚ましい成功を収めています。ただし、既存のTALメソッドは閉集合の仮定に基づいているため、オープンワールドのシナリオでは避けられない未知のアクションを処理できません。この論文では、初めて、Open Set TAL(OSTAL)問題に取り組み、Evidential Deep Learning(EDL)に基づく一般的なフレームワークOpenTALを提案します。具体的には、OpenTALは、不確実性を意識したアクション分類、アクションネス予測、および時間的位置回帰で構成されます。提案された重要性のバランスの取れたEDL法では、分類の不確実性は、主に重要なサンプルからカテゴリの証拠を収集することによって学習されます。未知のアクションを背景のビデオフレームと区別するために、アクション性はポジティブラベルなし学習によって学習されます。分類の不確実性は、時間的ローカリゼーション品質からのガイダンスを活用することによってさらに調整されます。 OpenTALは、一般に、オープンセットシナリオで既存のTALモデルを有効にします。また、THUMOS14およびActivityNet1.3ベンチマークでの実験結果は、この方法の有効性を示しています。コードと事前トレーニング済みモデルは、https://www.rit.edu/actionlab/opentalでリリースされています。
Temporal Action Localization (TAL) has experienced remarkable success under the supervised learning paradigm. However, existing TAL methods are rooted in the closed set assumption, which cannot handle the inevitable unknown actions in open-world scenarios. In this paper, we, for the first time, step toward the Open Set TAL (OSTAL) problem and propose a general framework OpenTAL based on Evidential Deep Learning (EDL). Specifically, the OpenTAL consists of uncertainty-aware action classification, actionness prediction, and temporal location regression. With the proposed importance-balanced EDL method, classification uncertainty is learned by collecting categorical evidence majorly from important samples. To distinguish the unknown actions from background video frames, the actionness is learned by the positive-unlabeled learning. The classification uncertainty is further calibrated by leveraging the guidance from the temporal localization quality. The OpenTAL is general to enable existing TAL models for open set scenarios, and experimental results on THUMOS14 and ActivityNet1.3 benchmarks show the effectiveness of our method. The code and pre-trained models are released at https://www.rit.edu/actionlab/opental.