ビデオ フレーム補間のための新しいネットワーク アーキテクチャである All-Pairs Multi-Field Transforms (AMT) を紹介します。それは2つの本質的なデザインに基づいています。まず、ピクセルのすべてのペアの双方向相関ボリュームを構築し、予測された双方向フローを使用して、フローと補間されたコンテンツ機能の両方を更新するための相関を取得します。次に、入力フレームに対して個別に後方ワーピングを実行するために、更新された粗いフローの 1 つのペアから細粒度フロー フィールドの複数のグループを導出します。これら 2 つの設計を組み合わせることで、有望なタスク指向のフローを生成し、大きなモーションのモデル化とフレーム補間中の遮蔽領域の処理における困難を軽減することができます。これらの品質により、モデルがさまざまなベンチマークで最先端のパフォーマンスを高効率で達成することが促進されます。さらに、畳み込みベースのモデルは、精度と効率の点で、Transformer ベースのモデルよりも優れています。コードは https://github.com/MCG-NKU/AMT で入手できます。
We present All-Pairs Multi-Field Transforms (AMT), a new network architecture for video frame interpolation. It is based on two essential designs. First, we build bidirectional correlation volumes for all pairs of pixels, and use the predicted bilateral flows to retrieve correlations for updating both flows and the interpolated content feature. Second, we derive multiple groups of fine-grained flow fields from one pair of updated coarse flows for performing backward warping on the input frames separately. Combining these two designs enables us to generate promising task-oriented flows and reduce the difficulties in modeling large motions and handling occluded areas during frame interpolation. These qualities promote our model to achieve state-of-the-art performance on various benchmarks with high efficiency. Moreover, our convolution-based model competes favorably compared to Transformer-based models in terms of accuracy and efficiency. Our code is available at https://github.com/MCG-NKU/AMT.