arXiv reaDer
JNMR: ビデオ フレーム補間のための共同非線形運動回帰
JNMR: Joint Non-linear Motion Regression for Video Frame Interpolation
ビデオ フレーム補間 (VFI) は、双方向の履歴参照から学習可能なモーションをワープすることにより、予測フレームを生成することを目的としています。ほとんどの既存の作品は、モーション推定と補間モデリングを実現するために時空間意味情報抽出器を利用しています。しかし、彼らは生成された中間運動の真の機械的合理性を十分に考慮していません。この論文では、フレーム間の複雑な動きをモデル化するために、VFI を結合非線形運動回帰 (JNMR) 戦略として再定式化します。具体的には、ターゲット フレームと複数の参照フレームとの間のモーション トラジェクトリは、多段階の二次モデルの時間的連結によって回帰されます。 ConvLSTM を採用して、この完全なモーションの同時分布を時間次元で構築します。さらに、特徴学習ネットワークは、共同回帰モデリングを最適化するように設計されています。反復的な回帰と補間により、さまざまな解像度で視覚的なダイナミクスを学習するために、粗いものから細かいものへの合成拡張モジュールも実行されます。 VFI に関する実験結果は、最先端の方法と比較して、関節運動回帰の有効性と大幅な改善を示しています。
Video frame interpolation (VFI) aims to generate predictive frames by warping learnable motions from the bidirectional historical references. Most existing works utilize spatio-temporal semantic information extractor to realize motion estimation and interpolation modeling. However, they insufficiently consider the real mechanistic rationality of generated middle motions. In this paper, we reformulate VFI as a Joint Non-linear Motion Regression (JNMR) strategy to model the complicated motions of inter-frame. Specifically, the motion trajectory between the target frame and the multiple reference frames is regressed by a temporal concatenation of multi-stage quadratic models. ConvLSTM is adopted to construct this joint distribution of complete motions in temporal dimension. Moreover, the feature learning network is designed to optimize for the joint regression modeling. A coarse-to-fine synthesis enhancement module is also conducted to learn visual dynamics at different resolutions through repetitive regression and interpolation. Experimental results on VFI show that the effectiveness and significant improvement of joint motion regression compared with the state-of-the-art methods.
updated: Sun Apr 16 2023 08:52:40 GMT+0000 (UTC)
published: Thu Jun 09 2022 02:47:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト