arXiv reaDer
ディープラーニングを使用したビデオクリップの説明タイトルの自動生成
Automatic Generation of Descriptive Titles for Video Clips Using Deep Learning
過去10年間、多くのアプリケーションでディープラーニングを使用すると、人間の専門家のパフォーマンスに匹敵する、場合によってはそれを超える結果が得られました。アプリケーションドメインには、病気の診断、金融、農業、検索エンジン、ロボットビジョンなどが含まれます。この論文では、画像/ビデオのキャプション手法と自然言語処理システムを利用して、ビデオのタイトルと簡潔な要約を生成するアーキテクチャを提案しています。このようなシステムは、映画産業、ビデオ検索エンジン、セキュリティ監視、ビデオデータベース/倉庫、データセンターなど、多くのアプリケーションドメインで利用できる可能性があります。提案されたシステムは、次のように機能および動作します。ビデオを読み取ります。代表的な画像フレームが識別され、選択されます。画像フレームにはキャプションが付いています。 NLPは、テキストの要約とともに、生成されたすべてのキャプションに適用されます。最後に、ビデオのタイトルと要約が生成されます。すべての機能は自動的に実行されます。このホワイトペーパーでは、公開されているデータセットを使用して予備的な結果を示しています。このホワイトペーパーでは、実行時のシステムの効率については考慮していません。今後の出版物で実行効率の問題に対処できることを願っています。
Over the last decade, the use of Deep Learning in many applications produced results that are comparable to and in some cases surpassing human expert performance. The application domains include diagnosing diseases, finance, agriculture, search engines, robot vision, and many others. In this paper, we are proposing an architecture that utilizes image/video captioning methods and Natural Language Processing systems to generate a title and a concise abstract for a video. Such a system can potentially be utilized in many application domains, including, the cinema industry, video search engines, security surveillance, video databases/warehouses, data centers, and others. The proposed system functions and operates as followed: it reads a video; representative image frames are identified and selected; the image frames are captioned; NLP is applied to all generated captions together with text summarization; and finally, a title and an abstract are generated for the video. All functions are performed automatically. Preliminary results are provided in this paper using publicly available datasets. This paper is not concerned about the efficiency of the system at the execution time. We hope to be able to address execution efficiency issues in our subsequent publications.
updated: Wed Apr 07 2021 18:14:18 GMT+0000 (UTC)
published: Wed Apr 07 2021 18:14:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト