arXiv reaDer
ビデオ フレーム補間の不連続性の調査
Exploring Discontinuity for Video Frame Interpolation
ビデオ フレーム補間 (VFI) は、2 つの連続するフレームを指定して中間フレームを合成するタスクです。これまでの研究のほとんどは、適切なフレーム ワーピング操作と、ワープされたフレームの改良モジュールに焦点を当ててきました。これらの研究は、連続的な動きのみを含む自然なビデオで行われました。しかし、実用的な動画の多くには、ロゴ、ユーザー インターフェイス、字幕など、不連続な動きを伴うさまざまな不自然なオブジェクトが含まれています。既存の深層学習ベースの VFI アーキテクチャをこれらの要素に対して堅牢にするための 3 つの手法を提案します。 1 つ目は、図とテキストの混合 (FTM) と呼ばれる新しいデータ拡張戦略で、追加のデータセットなしでトレーニング段階でモデルに不連続な動きを学習させることができます。次に、不連続マップ (D マップ) と呼ばれるマップを予測するシンプルだが効果的なモジュールを提案します。これは、連続モーションと不連続モーションの領域を密に区別します。最後に、FTM および D マップと共に適用できる不連続なモーション領域を監視するための損失関数を提案します。さらに、一部のモバイル ゲームとチャット ビデオで構成される Graphical Discontinuous Motion (GDM) データセットと呼ばれる特別なテスト ベンチマークも収集します。さまざまな最先端の VFI ネットワークに適用されたこの方法により、GDM データセットだけでなく、Vimeo90K、UCF101、DAVIS などの連続モーションのみを含む既存のベンチマークからのビデオの補間品質が大幅に向上します。
Video frame interpolation (VFI) is the task that synthesizes the intermediate frame given two consecutive frames. Most of the previous studies have focused on appropriate frame warping operations and refinement modules for the warped frames. These studies have been conducted on natural videos containing only continuous motions. However, many practical videos contain various unnatural objects with discontinuous motions such as logos, user interfaces and subtitles. We propose three techniques to make the existing deep learning-based VFI architectures robust to these elements. First is a novel data augmentation strategy called figure-text mixing (FTM) which can make the models learn discontinuous motions during training stage without any extra dataset. Second, we propose a simple but effective module that predicts a map called discontinuity map (D-map), which densely distinguishes between areas of continuous and discontinuous motions. Lastly, we propose loss functions to give supervisions of the discontinuous motion areas which can be applied along with FTM and D-map. We additionally collect a special test benchmark called Graphical Discontinuous Motion (GDM) dataset consisting of some mobile games and chatting videos. Applied to the various state-of-the-art VFI networks, our method significantly improves the interpolation qualities on the videos from not only GDM dataset, but also the existing benchmarks containing only continuous motions such as Vimeo90K, UCF101, and DAVIS.
updated: Thu Mar 23 2023 04:44:42 GMT+0000 (UTC)
published: Tue Feb 15 2022 10:17:02 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト