arXiv reaDer
MEMC-Net:ビデオの補間と強化のための動き推定と動き補償駆動型ニューラルネットワーク
MEMC-Net: Motion Estimation and Motion Compensation Driven Neural Network for Video Interpolation and Enhancement
  モーション推定(ME)およびモーション補償(MC)は、過去数十年にわたって古典的なビデオフレーム補間システムに広く使用されてきました。最近、畳み込みニューラルネットワークに基づく多くのデータ駆動型フレーム補間法が提案されています。ただし、既存の学習ベースの方法は通常、フローカーネルまたは補償カーネルのいずれかを推定するため、計算効率と補間精度の両方のパフォーマンスが制限されます。この作業では、ビデオフレーム補間のための動き推定と補償駆動型ニューラルネットワークを提案します。オプティカルフローカーネルと補間カーネルの両方を統合して、ターゲットフレームピクセルを合成するための新しい適応ワーピングレイヤーが開発されました。この層は完全に微分可能であるため、フローとカーネル推定ネットワークの両方を共同で最適化できます。提案されたモデルは、手作業で作成された機能を使用せずに、モーション推定と補償方法の利点を活用します。既存の方法と比較して、当社のアプローチは計算効率が高く、視覚的に魅力的な結果を生成できます。さらに、提案されたMEMC-Netは、いくつかのビデオエンハンスメントタスク、たとえば、超解像、ノイズ除去、デブロッキングにシームレスに適合させることができます。広範な定量的および定性的評価は、提案された方法が、広範囲のデータセットで最先端のビデオフレーム補間および強化アルゴリズムに対して良好に機能することを示しています。
Motion estimation (ME) and motion compensation (MC) have been widely used for classical video frame interpolation systems over the past decades. Recently, a number of data-driven frame interpolation methods based on convolutional neural networks have been proposed. However, existing learning based methods typically estimate either flow or compensation kernels, thereby limiting performance on both computational efficiency and interpolation accuracy. In this work, we propose a motion estimation and compensation driven neural network for video frame interpolation. A novel adaptive warping layer is developed to integrate both optical flow and interpolation kernels to synthesize target frame pixels. This layer is fully differentiable such that both the flow and kernel estimation networks can be optimized jointly. The proposed model benefits from the advantages of motion estimation and compensation methods without using hand-crafted features. Compared to existing methods, our approach is computationally efficient and able to generate more visually appealing results. Furthermore, the proposed MEMC-Net can be seamlessly adapted to several video enhancement tasks, e.g., super-resolution, denoising, and deblocking. Extensive quantitative and qualitative evaluations demonstrate that the proposed method performs favorably against the state-of-the-art video frame interpolation and enhancement algorithms on a wide range of datasets.
updated: Thu Sep 05 2019 08:35:29 GMT+0000 (UTC)
published: Sat Oct 20 2018 07:47:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト