arXiv reaDer
RIFE:ビデオフレーム補間のためのリアルタイム中間フロー推定
RIFE: Real-Time Intermediate Flow Estimation for Video Frame Interpolation
ビデオフレーム補間(VFI)用のリアルタイム中間フロー推定アルゴリズムであるRIFEを提案します。最近の多くのフローベースのVFIメソッドは、最初に双方向オプティカルフローを推定し、次にそれらをスケーリングおよび反転して中間フローを近似し、モーション境界にアーティファクトをもたらします。 RIFEは、IFNetという名前のニューラルネットワークを使用しており、粗いものから細かいものへの中間フローをはるかに高速に直接推定できます。中間フローモデルをトレーニングするための特権蒸留スキームを設計します。これにより、パフォーマンスが大幅に向上します。 RIFEは、事前にトレーニングされたオプティカルフローモデルに依存せず、任意のタイムステップフレーム補間をサポートできます。実験は、RIFEがいくつかの公開ベンチマークで最先端のパフォーマンスを達成することを示しています。 https://github.com/hzwer/arXiv2020-RIFE。
We propose RIFE, a Real-time Intermediate Flow Estimation algorithm for Video Frame Interpolation (VFI). Many recent flow-based VFI methods first estimate the bi-directional optical flows, then scale and reverse them to approximate intermediate flows, leading to artifacts on motion boundaries. RIFE uses a neural network named IFNet that can directly estimate the intermediate flows from coarse-to-fine with much better speed. We design a privileged distillation scheme for training intermediate flow model, which leads to a large performance improvement. RIFE does not rely on pre-trained optical flow models and can support arbitrary-timestep frame interpolation. Experiments demonstrate that RIFE achieves state-of-the-art performance on several public benchmarks. https://github.com/hzwer/arXiv2020-RIFE.
updated: Tue Nov 09 2021 07:45:41 GMT+0000 (UTC)
published: Thu Nov 12 2020 10:12:06 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト