arXiv reaDer
ビジュアルトランスフォーマーを使用した人間中心の時空間ビデオグラウンディング
Human-centric Spatio-Temporal Video Grounding With Visual Transformers
この作品では、新しいタスクを紹介します-人間中心の時空間ビデオ接地(HC-STVG)。画像やビデオの既存の参照表現タスクとは異なり、HC-STVGは、人間に焦点を当てることにより、特定のテクスチャの説明に基づいて、トリミングされていないビデオから対象者の時空間チューブをローカライズすることを目的としています。このタスクは、監視ビデオが非常に長くなる可能性があるが、特定の期間の特定の人物のみが関係するヘルスケアおよびセキュリティ関連のアプリケーションで特に役立ちます。 HC-STVGは、空間的(場所)と時間的(いつ)の両方のローカリゼーションを必要とするビデオ接地タスクです。残念ながら、既存の接地方法ではこのタスクをうまく処理できません。このタスクに取り組むには、ビジュアルトランスフォーマーを使用してビデオセンテンスマッチングと時間ローカリゼーションのクロスモーダル表現を抽出する、ビジュアルトランスフォーマーを使用した時空間グラウンディング(STGVT)という効果的なベースラインメソッドを提案します。このタスクを容易にするために、複雑な複数人のシーンで5,660のビデオセンテンスペアで構成されるHC-STVGデータセットも提供します。具体的には、各動画は20秒間続き、平均17.25語の自然なクエリ文とペアになります。このデータセットに対して広範な実験が行われ、新しく提案された方法が既存のベースライン方法よりも優れていることが実証されています。
In this work, we introduce a novel task - Humancentric Spatio-Temporal Video Grounding (HC-STVG). Unlike the existing referring expression tasks in images or videos, by focusing on humans, HC-STVG aims to localize a spatiotemporal tube of the target person from an untrimmed video based on a given textural description. This task is useful, especially for healthcare and security-related applications, where the surveillance videos can be extremely long but only a specific person during a specific period of time is concerned. HC-STVG is a video grounding task that requires both spatial (where) and temporal (when) localization. Unfortunately, the existing grounding methods cannot handle this task well. We tackle this task by proposing an effective baseline method named Spatio-Temporal Grounding with Visual Transformers (STGVT), which utilizes Visual Transformers to extract cross-modal representations for video-sentence matching and temporal localization. To facilitate this task, we also contribute an HC-STVG dataset consisting of 5,660 video-sentence pairs on complex multi-person scenes. Specifically, each video lasts for 20 seconds, pairing with a natural query sentence with an average of 17.25 words. Extensive experiments are conducted on this dataset, demonstrating the newly-proposed method outperforms the existing baseline methods.
updated: Wed Jun 02 2021 06:51:34 GMT+0000 (UTC)
published: Tue Nov 10 2020 11:23:38 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト