arXiv reaDer
Zero-Shot Anticipation for Instructional Activities
  ロボットに、今まで見たことのないアクティビティで次に何が起こるかを予測する方法を教えてください。大規模なテキストコーパスからの教育知識を一般化し、知識を視覚領域に転送する階層モデルを提示することにより、ゼロショット予測のこの問題に対処します。教育ビデオの一部を考えると、このモデルは、一貫性のあるもっともらしいアクションを、将来への複数のステップで、すべて豊かな自然言語で予測します。モデルの予測機能を実証するために、Tasty Videosデータセット、ゼロショット学習、認識、予測のための2511レシピのコレクションを紹介します。
How can we teach a robot to predict what will happen next for an activity it has never seen before? We address this problem of zero-shot anticipation by presenting a hierarchical model that generalizes instructional knowledge from large-scale text-corpora and transfers the knowledge to the visual domain. Given a portion of an instructional video, our model predicts coherent and plausible actions multiple steps into the future, all in rich natural language. To demonstrate the anticipation capabilities of our model, we introduce the Tasty Videos dataset, a collection of 2511 recipes for zero-shot learning, recognition and anticipation.
updated: Sun Oct 20 2019 22:44:45 GMT+0000 (UTC)
published: Thu Dec 06 2018 12:48:45 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト