arXiv reaDer
RIFE: ビデオフレーム補間のためのリアルタイム中間フロー推定
RIFE: Real-Time Intermediate Flow Estimation for Video Frame Interpolation
ビデオフレーム補間(VFI)のためのリアルタイム中間フロー推定アルゴリズム(RIFE)を提案する。既存の手法の多くは、最初に双方向の光学的な流れを推定し、それを線形に結合して中間流を近似するため、動きの境界付近でのアーチファクトが発生する。我々は、粗い流れから細かい流れまで中間流れを直接推定できるIFNetという中間流れモデルを設計する。次に、推定された中間フローに従って入力フレームを変形し、最終的な結果を計算するためにフュージョン処理を採用する。我々が提案したリーク蒸留法に基づいて、RIFEはエンドツーエンドで学習され、優れた性能を達成することができる。実験により、RIFEが既存のフローベースのVFI手法よりも大幅に高速であり、いくつかのベンチマークで最先端の指標を達成していることが実証された。コードは https://github.com/hzwer/RIFE から入手可能。
We propose a real-time intermediate flow estimation algorithm (RIFE) for video frame interpolation (VFI). Most existing methods first estimate the bi-directional optical flows, and then linearly combine them to approximate intermediate flows, leading to artifacts around motion boundaries. We design an intermediate flow model named IFNet that can directly estimate the intermediate flows from coarse to fine. We then warp the input frames according to the estimated intermediate flows and employ a fusion process to compute final results. Based on our proposed leakage distillation, RIFE can be trained end-to-end and achieve excellent performance. Experiments demonstrate that RIFE is significantly faster than existing flow-based VFI methods and achieves state-of-the-art index on several benchmarks. The code is available at https://github.com/hzwer/RIFE.
updated: Thu Nov 12 2020 10:12:06 GMT+0000 (UTC)
published: Thu Nov 12 2020 10:12:06 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト