モーションベースのビデオフレーム補間のための新しいシンプルで効果的なアルゴリズムを提示します。既存のモーションベースの内挿法は、通常、モーション推定のために事前にトレーニングされたオプティカルフローモデルまたはU-Netベースのピラミッドネットワークに依存します。この作業では、中間指向のフォワードワーピング、軽量機能エンコーダー、および相関ボリュームをピラミッドリカレントフレームワークに注意深く統合することにより、入力フレーム間の双方向モーションを同時に推定するコンパクトモデルを導出します。 PWC-Netの15分の1のサイズでありながら、困難なモーションケースのより信頼性が高く柔軟な処理を可能にします。推定された双方向の動きに基づいて、入力フレームとそのコンテキスト機能を中間フレームにフォワードワープし、合成ネットワークを使用して、ワープされた表現から中間フレームを推定します。私たちの方法は、幅広いビデオフレーム補間ベンチマークで優れたパフォーマンスを実現します。コードはまもなく利用可能になります。
We present a novel simple yet effective algorithm for motion-based video frame interpolation. Existing motion-based interpolation methods typically rely on a pre-trained optical flow model or a U-Net based pyramid network for motion estimation, which either suffer from large model size or limited capacity in handling complex and large motion cases. In this work, by carefully integrating intermediateoriented forward-warping, lightweight feature encoder, and correlation volume into a pyramid recurrent framework, we derive a compact model to simultaneously estimate the bidirectional motion between input frames. It is 15 times smaller in size than PWC-Net, yet enables more reliable and flexible handling of challenging motion cases. Based on estimated bi-directional motion, we forward-warp input frames and their context features to intermediate frame, and employ a synthesis network to estimate the intermediate frame from warped representations. Our method achieves excellent performance on a broad range of video frame interpolation benchmarks. Code will be available soon.