arXiv reaDer
Temporal Action Localization Using Gated Recurrent Units
ビデオ内の各アクションの開始と終了をアクションのクラスラベルとともに予測するTemporalActionLocalization(TAL)タスクには、現実の世界で多くのアプリケーションがあります。しかし、このタスクは複雑であるため、許容できる正解率はまだ達成されていませんが、アクション認識タスクに関してはそうではありません。本論文では、ゲート付き回帰ユニット(GRU)に基づく新しいネットワークとTALタスクのための2つの新しい後処理方法を提案します。具体的には、従来のGRUの出力層の新しい設計を提案し、いわゆるGRU-Splitネットワークを実現します。さらに、線形補間を使用して、正確な開始時刻と終了時刻を持つアクション提案を生成します。最後に、生成された提案を適切にランク付けするために、Learn to Rank(LTR)アプローチを使用します。 Thumos14およびActivityNet-1.3データセットで提案された方法のパフォーマンスを評価しました。結果は、最先端の方法と比較して、提案された方法の性能の優位性を示しています。具体的には、Thumos14のIntersection over Union(IoU)での平均平均精度(mAP)メトリックが0.7の場合、27.52%の精度が得られます。これは、最先端の方法よりも5.12%優れています。
Temporal Action Localization (TAL) task which is to predict the start and end of each action in a video along with the class label of the action has numerous applications in the real world. But due to the complexity of this task, acceptable accuracy rates have not been achieved yet, whereas this is not the case regarding the action recognition task. In this paper, we propose a new network based on Gated Recurrent Unit (GRU) and two novel post-processing methods for TAL task. Specifically, we propose a new design for the output layer of the conventionally GRU resulting in the so-called GRU-Split network. Moreover, linear interpolation is used to generate the action proposals with precise start and end times. Finally, to rank the generated proposals appropriately, we use a Learn to Rank (LTR) approach. We evaluated the performance of the proposed method on Thumos14 and ActivityNet-1.3 datasets. Results show the superiority of the performance of the proposed method compared to state-of-the-art. Specifically in the mean Average Precision (mAP) metric at Intersection over Union (IoU) of 0.7 on Thumos14, we get 27.52% accuracy which is 5.12% better than that of state-of-the-art methods.
updated: Tue May 24 2022 19:16:49 GMT+0000 (UTC)
published: Sat Aug 07 2021 06:25:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト