ビデオフレーム補間(VFI)は、双方向の履歴参照から学習可能なモーションをワープすることにより、予測フレームを生成することを目的としています。ほとんどの既存の作品は、時空間意味情報抽出器を利用してモーションエスティメーションと補間モデリングを実現していますが、生成された中間モーションの実際の機械的合理性を考慮すると十分ではありません。この論文では、VFIを多変数非線形(MNL)回帰問題として再定式化し、フレーム間の複雑な運動をモデル化するために、ジョイント非線形運動回帰(JNMR)戦略を提案します。 MNL回帰を確立するために、ConvLSTMを採用して、時間次元での完全なモーションの分布を構築します。ターゲットフレームと複数の参照フレームの間のモーション相関は、モデル化された分布によって回帰できます。さらに、特徴学習ネットワークは、MNL回帰モデリング用に最適化するように設計されています。粗い合成から細かい合成への強化モジュールは、反復回帰と補間を通じてさまざまな解像度で視覚的なダイナミクスを学習するためにさらに実行されます。フレーム補間に関する非常に競争力のある実験結果は、最先端のパフォーマンスと比較して有効性と大幅な改善、および複雑なモーション推定のロバスト性がMNLモーション回帰によって改善されることを示しています。
Video frame interpolation (VFI) aims to generate predictive frames by warping learnable motions from the bidirectional historical references. Most existing works utilize spatio-temporal semantic information extractor to realize motion estimation and interpolation modeling, not enough considering with the real mechanistic rationality of generated middle motions. In this paper, we reformulate VFI as a multi-variable non-linear (MNL) regression problem, and a Joint Non-linear Motion Regression (JNMR) strategy is proposed to model complicated motions of inter-frame. To establish the MNL regression, ConvLSTM is adopted to construct the distribution of complete motions in temporal dimension. The motion correlations between the target frame and multiple reference frames can be regressed by the modeled distribution. Moreover, the feature learning network is designed to optimize for the MNL regression modeling. A coarse-to-fine synthesis enhancement module is further conducted to learn visual dynamics at different resolutions through repetitive regression and interpolation. Highly competitive experimental results on frame interpolation show that the effectiveness and significant improvement compared with state-of-the-art performance, and the robustness of complicated motion estimation is improved by the MNL motion regression.