arXiv reaDer
ビデオキャプションとアプリケーションの統合アプローチ
An Integrated Approach for Video Captioning and Applications
物理コンピューティングインフラストラクチャ、データ収集、およびアルゴリズムは、最近、画像やビデオから情報を抽出するために大幅な進歩を遂げました。画像キャプションとビデオキャプションの成長は特に顕著です。ただし、ビデオキャプションの進歩のほとんどは、依然として短いビデオで行われています。この調査では、ビデオフレーム全体の小さなサブセットであるキーフレームのみを使用して、より長いビデオにキャプションを付けます。キーフレームの数に応じて、数千のフレームを処理する代わりに、数フレームのみが処理されます。多くのフレームの計算とキャプション処理の速度の間にはトレードオフがあります。この調査のアプローチは、ユーザーが実行時間と精度の間のトレードオフを指定できるようにすることです。さらに、画像、ビデオ、自然言語をリンクすることで、多くの実用的なメリットと即時の実用的なアプリケーションが提供されると私たちは主張します。モデリングの観点から、複雑な処理パイプラインでビデオを処理してキャプションを生成する明示的なアルゴリズムを設計およびステージングする代わりに、ビデオキーフレームにキャプションを付けることで長いビデオに適用するハイブリッドディープラーニングアーキテクチャを設計することに貢献しています。私たちは、私たちが開発した技術と方法論を、この研究で議論されたアプリケーションへのステップと見なします。
Physical computing infrastructure, data gathering, and algorithms have recently had significant advances to extract information from images and videos. The growth has been especially outstanding in image captioning and video captioning. However, most of the advancements in video captioning still take place in short videos. In this research, we caption longer videos only by using the keyframes, which are a small subset of the total video frames. Instead of processing thousands of frames, only a few frames are processed depending on the number of keyframes. There is a trade-off between the computation of many frames and the speed of the captioning process. The approach in this research is to allow the user to specify the trade-off between execution time and accuracy. In addition, we argue that linking images, videos, and natural language offers many practical benefits and immediate practical applications. From the modeling perspective, instead of designing and staging explicit algorithms to process videos and generate captions in complex processing pipelines, our contribution lies in designing hybrid deep learning architectures to apply in long videos by captioning video keyframes. We consider the technology and the methodology that we have developed as steps toward the applications discussed in this research.
updated: Sun Jan 23 2022 01:06:00 GMT+0000 (UTC)
published: Sun Jan 23 2022 01:06:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト