arXiv reaDer
AdaCoF: Adaptive Collaboration of Flows for Video Frame Interpolation
 ビデオフレームの補間は、ビデオ処理の研究において最も困難なタスクの1つです。最近、ディープラーニングに基づいた多くの研究が提案されています。これらの方法のほとんどは、独自のフレームワーピング操作を使用して各出力ピクセルを推定するのに役立つ情報を持つ場所を見つけることに焦点を当てています。ただし、それらの多くには、自由度(DoF)の制限があり、現実世界のビデオに見られる複雑な動きに対処することができません。この問題を解決するために、Adaptive Collaboration of Flows(AdaCoF)という名前の新しいワーピングモジュールを提案します。この方法では、各ターゲットピクセルのカーネルの重みとオフセットベクトルの両方を推定して、出力フレームを合成します。 AdaCoFは、他のアプローチと比較して最も一般化されたワーピングモジュールの1つであり、それらのほとんどを特別なケースとして扱います。そのため、複雑な動きの非常に広い領域に対応できます。フレームワークをさらに改善し、より現実的な出力を合成するために、ビデオフレーム補間タスクにのみ適用されるデュアルフレームの敵対的損失を導入します。実験結果は、固定トレーニングセット環境とMiddleburyベンチマークの両方で、本手法が最先端の手法より優れていることを示しています。
Video frame interpolation is one of the most challenging tasks in video processing research. Recently, many studies based on deep learning have been suggested. Most of these methods focus on finding locations with useful information to estimate each output pixel using their own frame warping operations. However, many of them have Degrees of Freedom (DoF) limitations and fail to deal with the complex motions found in real world videos. To solve this problem, we propose a new warping module named Adaptive Collaboration of Flows (AdaCoF). Our method estimates both kernel weights and offset vectors for each target pixel to synthesize the output frame. AdaCoF is one of the most generalized warping modules compared to other approaches, and covers most of them as special cases of it. Therefore, it can deal with a significantly wide domain of complex motions. To further improve our framework and synthesize more realistic outputs, we introduce dual-frame adversarial loss which is applicable only to video frame interpolation tasks. The experimental results show that our method outperforms the state-of-the-art methods for both fixed training set environments and the Middlebury benchmark.
updated: Sun Mar 08 2020 13:19:57 GMT+0000 (UTC)
published: Wed Jul 24 2019 05:40:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト