arXiv reaDer
テキストからのビデオ モデルの学習: 手続き型アクションのゼロショット予測
Learning Video Models from Text: Zero-Shot Anticipation for Procedural Actions
ロボットに、これまで見たことのない活動を認識して予測するように教えることができるでしょうか?テキストからビデオのモデルを学習することで、この問題に取り組みます。この論文では、大規模なテキストコーパスから教育知識を一般化し、その知識をビデオに変換する階層モデルを示します。教育ビデオの一部を指定すると、モデルは、すべて豊かな自然言語で、将来への複数のステップで一貫性があり、もっともらしい行動を認識して予測します。モデルの機能を実証するために、Tasty Videos Dataset V2 を紹介します。これは、ゼロ ショットの学習、認識、予測のための 4022 レシピのコレクションです。さまざまな評価指標を使用した広範な実験により、トレーニング モデルのビデオ データが限られていることを考えると、この方法の一般化の可能性が示されています。
Can we teach a robot to recognize and make predictions for activities that it has never seen before? We tackle this problem by learning models for video from text. This paper presents a hierarchical model that generalizes instructional knowledge from large-scale text-corpora and transfers the knowledge to video. Given a portion of an instructional video, our model recognizes and predicts coherent and plausible actions multiple steps into the future, all in rich natural language. To demonstrate the capabilities of our model, we introduce the Tasty Videos Dataset V2, a collection of 4022 recipes for zero-shot learning, recognition and anticipation. Extensive experiments with various evaluation metrics demonstrate the potential of our method for generalization, given limited video data for training models.
updated: Sun Jun 06 2021 15:43:39 GMT+0000 (UTC)
published: Sun Jun 06 2021 15:43:39 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト