arXiv reaDer
Large Scale Holistic Video Understanding
ビデオ認識は、豊富な注釈を備えたベンチマークによって近年進歩しています。ただし、研究は依然として主に人間の行動またはスポーツの認識に限定されています。非常に具体的なビデオ理解タスクに焦点を当てているため、ビデオの全体的なコンテンツの説明に大きなギャップがあります。大規模な「ホリスティックビデオ理解データセット」〜(HVU)を提示することで、このギャップを埋めます。 HVUは、動的シーンでの複数のセマンティックな側面の認識を含む包括的な問題として、マルチラベルおよびマルチタスクのビデオ理解に焦点を当てたセマンティック分類法で階層的に編成されています。 HVUには、合計で約57.2万本の動画が含まれており、3142を超えるラベルにまたがるトレーニング、検証、テストセット用の900万のアノテーションが含まれています。 HVUには、シーン、オブジェクト、アクション、イベント、属性、および概念のカテゴリで定義されたセマンティックな側面が含まれ、実際のシナリオを自然にキャプチャします。 1)ビデオ分類、2。)ビデオキャプション、3。)ビデオクラスタリングタスクの3つの難しいタスクでHVUの一般化機能を示します。特にビデオ分類では、外観と時間的手がかりの中間表現を組み合わせることにより、2Dアーキテクチャと3Dアーキテクチャを1つに融合することで構築される、「ホリスティックアピアランスと時間ネットワーク」〜(HATNet)と呼ばれる新しい時空間ディープニューラルネットワークアーキテクチャを紹介します。 HATNetは、マルチラベルおよびマルチタスク学習の問題に焦点を当てており、エンドツーエンドの方法でトレーニングされています。私たちの実験を通じて、全体論的表現学習は補完的であり、多くの実際のアプリケーションを可能にする上で重要な役割を果たすことができるという考えを検証します。
Video recognition has been advanced in recent years by benchmarks with rich annotations. However, research is still mainly limited to human action or sports recognition - focusing on a highly specific video understanding task and thus leaving a significant gap towards describing the overall content of a video. We fill this gap by presenting a large-scale "Holistic Video Understanding Dataset"~(HVU). HVU is organized hierarchically in a semantic taxonomy that focuses on multi-label and multi-task video understanding as a comprehensive problem that encompasses the recognition of multiple semantic aspects in the dynamic scene. HVU contains approx.~572k videos in total with 9 million annotations for training, validation, and test set spanning over 3142 labels. HVU encompasses semantic aspects defined on categories of scenes, objects, actions, events, attributes, and concepts which naturally captures the real-world scenarios. We demonstrate the generalization capability of HVU on three challenging tasks: 1.) Video classification, 2.) Video captioning and 3.) Video clustering tasks. In particular for video classification, we introduce a new spatio-temporal deep neural network architecture called "Holistic Appearance and Temporal Network"~(HATNet) that builds on fusing 2D and 3D architectures into one by combining intermediate representations of appearance and temporal cues. HATNet focuses on the multi-label and multi-task learning problem and is trained in an end-to-end manner. Via our experiments, we validate the idea that holistic representation learning is complementary, and can play a key role in enabling many real-world applications.
updated: Tue Dec 15 2020 06:53:39 GMT+0000 (UTC)
published: Thu Apr 25 2019 16:49:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト