ビデオフレーム補間(VFI)用のリアルタイム中間フロー推定アルゴリズムであるRIFEを提案します。ほとんどの既存のフローベースの方法は、最初に双方向オプティカルフローを推定し、次にそれらをスケーリングおよび反転して中間フローを近似し、モーション境界にアーティファクトをもたらします。 RIFEは、IFNetという名前のニューラルネットワークを使用しており、画像から中間フローをはるかに高速に直接推定できます。提案された漏れ蒸留損失に基づいて、RIFEはエンドツーエンドの方法でトレーニングできます。実験は、私たちの方法が柔軟であり、いくつかの公開ベンチマークで印象的なパフォーマンスを達成できることを示しています。コードはhttps://github.com/hzwer/arXiv2020-RIFEで入手できます。
We propose RIFE, a Real-time Intermediate Flow Estimation algorithm for Video Frame Interpolation (VFI). Most existing flow-based methods first estimate the bi-directional optical flows, then scale and reverse them to approximate intermediate flows, leading to artifacts on motion boundaries. RIFE uses a neural network named IFNet that can directly estimate the intermediate flows from images with much better speed. Based on our proposed leakage distillation loss, RIFE can be trained in an end-to-end fashion. Experiments demonstrate that our method is flexible and can achieve impressive performance on several public benchmarks. The code is available at https://github.com/hzwer/arXiv2020-RIFE.