フロー ガイド付き合成は、フレーム補間の共通フレームワークを提供します。このフレームワークでは、オプティカル フローが推定され、連続する入力間の中間フレームの合成がガイドされます。この論文では、フレーム補間のための新しい統合ピラミッド再帰型ネットワークであるUPR-Netを紹介します。柔軟なピラミッド フレームワークにキャストされた UPR-Net は、双方向フロー推定と中間フレーム合成の両方に軽量の再帰モジュールを利用します。各ピラミッド レベルで、推定された双方向フローを活用して、フレーム合成の順方向ワープ表現を生成します。ピラミッド レベル全体で、オプティカル フローと中間フレームの両方の反復改良が可能になります。特に、反復合成戦略により、大きな動きの場合のフレーム補間の堅牢性が大幅に向上することを示しています。非常に軽量 (170 万のパラメーター) であるにもかかわらず、UPR-Net の基本バージョンは、さまざまなベンチマークで優れたパフォーマンスを発揮します。 UPR-Net シリーズのコードとトレーニング済みモデルは、https://github.com/srcn-ivl/UPR-Net で入手できます。
Flow-guided synthesis provides a common framework for frame interpolation, where optical flow is estimated to guide the synthesis of intermediate frames between consecutive inputs. In this paper, we present UPR-Net, a novel Unified Pyramid Recurrent Network for frame interpolation. Cast in a flexible pyramid framework, UPR-Net exploits lightweight recurrent modules for both bi-directional flow estimation and intermediate frame synthesis. At each pyramid level, it leverages estimated bi-directional flow to generate forward-warped representations for frame synthesis; across pyramid levels, it enables iterative refinement for both optical flow and intermediate frame. In particular, we show that our iterative synthesis strategy can significantly improve the robustness of frame interpolation on large motion cases. Despite being extremely lightweight (1.7M parameters), our base version of UPR-Net achieves excellent performance on a large range of benchmarks. Code and trained models of our UPR-Net series are available at: https://github.com/srcn-ivl/UPR-Net.