arXiv reaDer
VideoBERT: A Joint Model for Video and Language Representation Learning
  YouTubeのようなプラットフォームで利用可能な豊富なラベルなしデータを活用するために、自己管理学習がますます重要になっています。ほとんどの既存のアプローチでは低レベルの表現を学習しますが、明示的な監督なしで高レベルの特徴を学習するための視覚的言語モデルの共同モデルを提案します。特に、言語モデリングにおける最近の成功に触発されて、私たちはBERTモデルに基づいて、ビデオデータと市販の音声認識出力のベクトル量子化からそれぞれ導出された視覚的および言語的トークンのシーケンスにわたる双方向の共同分布を学習します。 VideoBERTは、アクション分類やビデオキャプションなど、多数のタスクで使用します。オープンボキャブラリーの分類に直接適用できることを示し、大量のトレーニングデータとクロスモーダル情報がパフォーマンスに重要であることを確認します。さらに、ビデオキャプションで最先端のパフォーマンスを発揮し、定量的な結果により、モデルが高レベルのセマンティック機能を学習していることを確認します。
Self-supervised learning has become increasingly important to leverage the abundance of unlabeled data available on platforms like YouTube. Whereas most existing approaches learn low-level representations, we propose a joint visual-linguistic model to learn high-level features without any explicit supervision. In particular, inspired by its recent success in language modeling, we build upon the BERT model to learn bidirectional joint distributions over sequences of visual and linguistic tokens, derived from vector quantization of video data and off-the-shelf speech recognition outputs, respectively. We use VideoBERT in numerous tasks, including action classification and video captioning. We show that it can be applied directly to open-vocabulary classification, and confirm that large amounts of training data and cross-modal information are critical to performance. Furthermore, we outperform the state-of-the-art on video captioning, and quantitative results verify that the model learns high-level semantic features.
updated: Wed Sep 11 2019 19:52:54 GMT+0000 (UTC)
published: Wed Apr 03 2019 04:40:16 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト