arXiv reaDer
文指定の動的ビデオサムネイル生成
Sentence Specified Dynamic Video Thumbnail Generation
  インターネットを介したビデオの驚異的な成長に伴い、ビデオコンテンツのプレビューを提供するビデオサムネイルは、ユーザーのオンライン検索エクスペリエンスに影響を与えるためにますます重要になっています。従来のビデオサムネイルは、ビデオの視覚特性に基づいて一度だけ生成され、要求に応じて表示されます。したがって、このようなビデオサムネイルは、ユーザーの検索意図を考慮せずに、ユーザーが関心を持つビデオコンテンツの意味のあるスナップショットを提供できません。この論文では、明確に新しいタスク、すなわち文指定の動的ビデオサムネイル生成を定義します。生成されたサムネイルは、元のビデオコンテンツの簡潔なプレビューを提供するだけでなく、ユーザーとの意味的対応を伴うユーザーの検索意図にも動的に関連します'クエリ文。このような困難なタスクに取り組むために、新しいグラフ畳み込みビデオサムネイルポインター(GTP)を提案します。具体的には、GTPはセンテンス指定ビデオグラフ畳み込みネットワークを活用して、センテンスビデオセマンティックインタラクションとセンテンス情報に組み込まれた内部ビデオ関係の両方をモデル化し、それに基づいて時間条件付きポインターネットワークを導入して、センテンス指定ビデオサムネイルを順次生成します。さらに、提案された新しいタスクのActivityNet Captionsに基づいた新しいデータセットに注釈を付けます。これは、10,000を超えるビデオ文のペアで構成され、それぞれに注釈付きの文指定ビデオサムネイルが付きます。提案されたGTPは、作成されたデータセットでいくつかのベースラインメソッドよりも優れていることを示しているため、新しいデータセットのリリースに伴う初期結果は、センテンス指定の動的ビデオサムネイル生成に関するさらなる研究を刺激すると考えています。データセットとコードはhttps://github.com/yytzsy/GTPで入手できます。
With the tremendous growth of videos over the Internet, video thumbnails, providing video content previews, are becoming increasingly crucial to influencing users' online searching experiences. Conventional video thumbnails are generated once purely based on the visual characteristics of videos, and then displayed as requested. Hence, such video thumbnails, without considering the users' searching intentions, cannot provide a meaningful snapshot of the video contents that users concern. In this paper, we define a distinctively new task, namely sentence specified dynamic video thumbnail generation, where the generated thumbnails not only provide a concise preview of the original video contents but also dynamically relate to the users' searching intentions with semantic correspondences to the users' query sentences. To tackle such a challenging task, we propose a novel graph convolved video thumbnail pointer (GTP). Specifically, GTP leverages a sentence specified video graph convolutional network to model both the sentence-video semantic interaction and the internal video relationships incorporated with the sentence information, based on which a temporal conditioned pointer network is then introduced to sequentially generate the sentence specified video thumbnails. Moreover, we annotate a new dataset based on ActivityNet Captions for the proposed new task, which consists of 10,000+ video-sentence pairs with each accompanied by an annotated sentence specified video thumbnail. We demonstrate that our proposed GTP outperforms several baseline methods on the created dataset, and thus believe that our initial results along with the release of the new dataset will inspire further research on sentence specified dynamic video thumbnail generation. Dataset and code are available at https://github.com/yytzsy/GTP.
updated: Wed Oct 16 2019 09:47:43 GMT+0000 (UTC)
published: Mon Aug 12 2019 08:35:37 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト