ビデオフレーム補間は、空間的および時間的一貫性を維持しながら、近くのソースフレームから中間フレームを合成することを目的としています。既存の深層学習ベースのビデオフレーム補間法は、フローベースの方法とカーネルベースの方法の2つのカテゴリに大別できます。フローベースの方法のパフォーマンスは、モーションモデルが単純化されすぎているためにフローマップ推定の不正確さによって危険にさらされることがよくありますが、カーネルベースの方法のパフォーマンスはカーネル形状の剛性によって制約される傾向があります。これらのパフォーマンス制限の問題に対処するために、一般化された変形可能な畳み込みと呼ばれる新しいメカニズムが提案されます。これは、データ駆動方式でモーション情報を効果的に学習し、時空間でサンプリングポイントを自由に選択できます。このメカニズムに基づいて、新しいビデオフレーム補間法をさらに開発します。私たちの広範な実験は、特に複雑な動きを扱う場合に、新しい方法が最先端技術に対して有利に機能することを示しています。
Video frame interpolation aims at synthesizing intermediate frames from nearby source frames while maintaining spatial and temporal consistencies. The existing deep-learning-based video frame interpolation methods can be roughly divided into two categories: flow-based methods and kernel-based methods. The performance of flow-based methods is often jeopardized by the inaccuracy of flow map estimation due to oversimplified motion models, while that of kernel-based methods tends to be constrained by the rigidity of kernel shape. To address these performance-limiting issues, a novel mechanism named generalized deformable convolution is proposed, which can effectively learn motion information in a data-driven manner and freely select sampling points in space-time. We further develop a new video frame interpolation method based on this mechanism. Our extensive experiments demonstrate that the new method performs favorably against the state-of-the-art, especially when dealing with complex motions.