arXiv reaDer
TAP-Vid: ビデオの任意のポイントを追跡するためのベンチマーク
TAP-Vid: A Benchmark for Tracking Any Point in a Video
ビデオから一般的なモーションを理解するには、オブジェクトを追跡するだけでなく、オブジェクトの表面がどのように変形および移動するかを認識することも必要です。この情報は、3D 形状、物理特性、およびオブジェクトの相互作用について推測するのに役立ちます。より長いビデオ クリップで表面上の任意の物理点を追跡する問題は注目を集めていますが、評価のためのデータセットやベンチマークはこれまで存在しませんでした。この論文では、まず問題を形式化し、任意の点を追跡する (TAP) と名付けます。コンパニオン ベンチマークである TAP-Vid を紹介します。これは、ポイント トラックの正確な人間の注釈を含む実世界のビデオと、完全なグラウンド トゥルース ポイント トラックを含む合成ビデオの両方で構成されています。ベンチマークの構築の中心にあるのは、オプティカル フロー推定を使用して手ぶれなどの簡単で短期間の動きを補正する、新しい半自動クラウドソーシング パイプラインです。これにより、アノテーターはビデオの難しい部分に集中できます。合成データでパイプラインを検証し、単純なエンド ツー エンド ポイント トラッキング モデル TAP-Net を提案します。これは、合成データでトレーニングした場合、ベンチマークで以前のすべての方法よりも優れていることを示しています。
Generic motion understanding from video involves not only tracking objects, but also perceiving how their surfaces deform and move. This information is useful to make inferences about 3D shape, physical properties and object interactions. While the problem of tracking arbitrary physical points on surfaces over longer video clips has received some attention, no dataset or benchmark for evaluation existed, until now. In this paper, we first formalize the problem, naming it tracking any point (TAP). We introduce a companion benchmark, TAP-Vid, which is composed of both real-world videos with accurate human annotations of point tracks, and synthetic videos with perfect ground-truth point tracks. Central to the construction of our benchmark is a novel semi-automatic crowdsourced pipeline which uses optical flow estimates to compensate for easier, short-term motion like camera shake, allowing annotators to focus on harder sections of video. We validate our pipeline on synthetic data and propose a simple end-to-end point tracking model TAP-Net, showing that it outperforms all prior methods on our benchmark when trained on synthetic data.
updated: Fri Mar 31 2023 11:51:40 GMT+0000 (UTC)
published: Mon Nov 07 2022 17:57:02 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト