内挿と外挿で構成されるビデオフレーム合成は、さまざまなシナリオに適用できる重要なビデオ処理技術です。ただし、既存のほとんどの方法では、特に4Kビデオなどの高解像度ビデオでは、小さなオブジェクトや大きなモーションをうまく処理できません。このような制限を排除するために、フローベースのフレーム合成のためのネイバーコレスポンデンスマッチング(NCM)アルゴリズムを導入します。現在のフレームはビデオフレーム合成では使用できないため、NCMは現在のフレームに依存しない方法で実行され、各ピクセルの時空間近傍でマルチスケールの対応を確立します。 NCMの強力なモーション表現機能に基づいて、不均一な粗いから細かいスキームでのフレーム合成の中間フローを推定することをさらに提案します。具体的には、粗いスケールのモジュールは隣接する対応を活用して大きな動きをキャプチャするように設計されていますが、細かいスケールのモジュールは推定プロセスを高速化するためにより計算効率が高くなっています。両方のモジュールは、トレーニングデータセットと実際のビデオの間の解像度のギャップをなくすために段階的にトレーニングされます。実験結果は、NCMがいくつかのベンチマークで最先端のパフォーマンスを達成していることを示しています。さらに、NCMは、ビデオ圧縮などのさまざまな実用的なシナリオに適用して、パフォーマンスを向上させることができます。
Video frame synthesis, which consists of interpolation and extrapolation, is an essential video processing technique that can be applied to various scenarios. However, most existing methods cannot handle small objects or large motion well, especially in high-resolution videos such as 4K videos. To eliminate such limitations, we introduce a neighbor correspondence matching (NCM) algorithm for flow-based frame synthesis. Since the current frame is not available in video frame synthesis, NCM is performed in a current-frame-agnostic fashion to establish multi-scale correspondences in the spatial-temporal neighborhoods of each pixel. Based on the powerful motion representation capability of NCM, we further propose to estimate intermediate flows for frame synthesis in a heterogeneous coarse-to-fine scheme. Specifically, the coarse-scale module is designed to leverage neighbor correspondences to capture large motion, while the fine-scale module is more computationally efficient to speed up the estimation process. Both modules are trained progressively to eliminate the resolution gap between training dataset and real-world videos. Experimental results show that NCM achieves state-of-the-art performance on several benchmarks. In addition, NCM can be applied to various practical scenarios such as video compression to achieve better performance.