インテリジェントなビデオ要約アルゴリズムにより、冗長なビデオフレームを削除しながら、最も重要で説明的なコンテンツを特定することで、ビデオ内の最も関連性の高い情報をすばやく伝達できます。この論文では、ビデオ要約のための3DST-UNet-RLフレームワークを紹介します。 3D時空間U-Netは、ダウンストリーム強化学習(RL)の入力ビデオの時空間情報を効率的にエンコードするために使用されます。 RLエージェントは、時空間潜在スコアから学習し、ビデオサマリー内のビデオフレームを保持または拒否するためのアクションを予測します。実際の/膨張した3D時空間CNN特徴が、一般的に使用される2D画像特徴よりもビデオからの表現を学習するのに適しているかどうかを調査します。私たちのフレームワークは、完全な教師なしモードと教師ありトレーニングモードの両方で動作できます。処方された要約の長さの影響を分析し、2つの一般的に使用される一般的なビデオ要約ベンチマークに対する3DST-UNet-RLの有効性に関する実験的証拠を示します。また、医療ビデオ要約タスクにもこの方法を適用しました。提案されたビデオ要約方法は、超音波スクリーニングビデオの保存コストを節約するだけでなく、重要な情報を失うことなく、遡及的分析または監査中に患者のビデオデータを閲覧する際の効率を高める可能性があります。
Intelligent video summarization algorithms allow to quickly convey the most relevant information in videos through the identification of the most essential and explanatory content while removing redundant video frames. In this paper, we introduce the 3DST-UNet-RL framework for video summarization. A 3D spatio-temporal U-Net is used to efficiently encode spatio-temporal information of the input videos for downstream reinforcement learning (RL). An RL agent learns from spatio-temporal latent scores and predicts actions for keeping or rejecting a video frame in a video summary. We investigate if real/inflated 3D spatio-temporal CNN features are better suited to learn representations from videos than commonly used 2D image features. Our framework can operate in both, a fully unsupervised mode and a supervised training mode. We analyse the impact of prescribed summary lengths and show experimental evidence for the effectiveness of 3DST-UNet-RL on two commonly used general video summarization benchmarks. We also applied our method on a medical video summarization task. The proposed video summarization method has the potential to save storage costs of ultrasound screening videos as well as to increase efficiency when browsing patient video data during retrospective analysis or audit without loosing essential information