arXiv reaDer
RIFE: ビデオフレーム補間のための実時間中間フロー推定
RIFE: Real-Time Intermediate Flow Estimation for Video Frame Interpolation
ビデオフレーム補間(VFI)のための実時間中間フロー推定アルゴリズムであるRIFEを提案する。既存の手法の多くは、まず双方向のオプティカルフローを推定し、それを線形結合して中間フローを近似するため、動きの境界でアーチファクトが発生する。RIFEでは、IFNetと呼ばれるニューラルネットワークを用いて、画像から中間フローを直接推定する。より正確なフローと簡略化された融合プロセスにより、RIFEは補間品質を向上させ、速度も大幅に改善した。我々が提案したリーク蒸留ロスに基づいて、RIFEはエンド・ツー・エンドで学習することができる。実験の結果、我々の手法は既存のVFI手法よりも大幅に高速であり、パブリックベンチマークにおいて最先端の性能を達成できることが実証された。コードは https://github.com/hzwer/arXiv2020-RIFE で公開している。
We propose RIFE, a Real-time Intermediate Flow Estimation algorithm for Video Frame Interpolation (VFI). Most existing methods first estimate the bi-directional optical flows and then linearly combine them to approximate intermediate flows, leading to artifacts on motion boundaries. RIFE uses a neural network named IFNet that can directly estimate the intermediate flows from images. With the more precise flows and our simplified fusion process, RIFE can improve interpolation quality and have much better speed. Based on our proposed leakage distillation loss, RIFE can be trained in an end-to-end fashion. Experiments demonstrate that our method is significantly faster than existing VFI methods and can achieve state-of-the-art performance on public benchmarks. The code is available at https://github.com/hzwer/arXiv2020-RIFE.
updated: Tue Nov 17 2020 09:33:17 GMT+0000 (UTC)
published: Thu Nov 12 2020 10:12:06 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト