Temporal Action Detection(TAD)は、ビデオを理解する上で重要ですが難しいタスクです。これは、トリミングされていない長いビデオの各アクションインスタンスのタイプと開始終了フレームの両方を検出することを目的としています。現在のほとんどのモデルは、RGBとオプティカルフローの両方を採用しています。 TADタスクのストリーム。したがって、元のRGBフレームは、追加の計算と時間コストを伴うオプティカルフローフレームに手動で変換する必要があります。これは、リアルタイム処理を実現するための障害です。現在、多くのモデルが2段階の戦略を採用しているため、推論速度が遅くなり、提案の生成が複雑に調整されます。これに対して、RGBストリームのみを使用した1段階のアンカーフリー時間ローカリゼーション手法を提案します。力学-MLPアーキテクチャが確立されます。これは、既存のすべての最先端モデルと同等の精度を備えていますが、これらの方法の推論速度を大幅に上回っています。この論文の典型的な推論速度は、THUMOS14で毎秒4.44ビデオという驚異的な速度です。アプリケーションでは、オプティカルフローを変換する必要がないため、推論速度が速くなります。また、MLPがTADなどのダウンストリームタスクで大きな可能性を秘めていることも証明されています。ソースコードはhttps://github.com/BonedDeng/TadMLで入手できます。
Temporal Action Detection(TAD) is a crucial but challenging task in video understanding.It is aimed at detecting both the type and start-end frame for each action instance in a long, untrimmed video.Most current models adopt both RGB and Optical-Flow streams for the TAD task. Thus, original RGB frames must be converted manually into Optical-Flow frames with additional computation and time cost, which is an obstacle to achieve real-time processing. At present, many models adopt two-stage strategies, which would slow the inference speed down and complicatedly tuning on proposals generating.By comparison, we propose a one-stage anchor-free temporal localization method with RGB stream only, in which a novel Newtonian Mechanics-MLP architecture is established. It has comparable accuracy with all existing state-of-the-art models, while surpasses the inference speed of these methods by a large margin. The typical inference speed in this paper is astounding 4.44 video per second on THUMOS14. In applications, because there is no need to convert optical flow, the inference speed will be faster.It also proves that MLP has great potential in downstream tasks such as TAD. The source code is available at https://github.com/BonedDeng/TadML