TubeRを提案します:時空間ビデオアクション検出のためのシンプルなソリューション。オフラインの俳優検出器、または提案やアンカーなどの手動で設計された俳優の位置仮説に依存する既存の方法とは異なり、単一の表現からアクションのローカリゼーションと認識を同時に実行することにより、ビデオ内のアクションチューブレットを直接検出することを提案します。 TubeRは、一連のtubeletクエリを学習し、tubelet-attentionモジュールを使用して、ビデオクリップの動的な時空間的性質をモデル化します。これにより、時空間空間で俳優の位置仮説を使用する場合と比較して、モデルの容量が効果的に強化されます。遷移状態またはシーンの変化を含むビデオの場合、アクション分類を強化するために短期および長期のコンテキストを利用するコンテキストアウェア分類ヘッドと、正確な時間的アクション範囲を検出するためのアクションスイッチ回帰ヘッドを提案します。 TubeRは、可変長のアクションチューブレットを直接生成し、長いビデオクリップでも良好な結果を維持します。 TubeRは、一般的に使用されるアクション検出データセットAVA、UCF101-24、およびJHMDB51-21で以前の最先端技術を上回っています。
We propose TubeR: a simple solution for spatio-temporal video action detection. Different from existing methods that depend on either an off-line actor detector or hand-designed actor-positional hypotheses like proposals or anchors, we propose to directly detect an action tubelet in a video by simultaneously performing action localization and recognition from a single representation. TubeR learns a set of tubelet-queries and utilizes a tubelet-attention module to model the dynamic spatio-temporal nature of a video clip, which effectively reinforces the model capacity compared to using actor-positional hypotheses in the spatio-temporal space. For videos containing transitional states or scene changes, we propose a context aware classification head to utilize short-term and long-term context to strengthen action classification, and an action switch regression head for detecting the precise temporal action extent. TubeR directly produces action tubelets with variable lengths and even maintains good results for long video clips. TubeR outperforms the previous state-of-the-art on commonly used action detection datasets AVA, UCF101-24 and JHMDB51-21.