arXiv reaDer
XVFI: eXtreme Video Frame Interpolation
この論文では、最初に、ビデオフレーム補間(VFI)のために、極端な動きのある1000 fpsの4Kビデオのデータセット(X4K1000FPS)を研究コミュニティに提示し、XVFI-Netと呼ばれる極端なVFIネットワークを提案します。大きな動きのある4Kビデオ用のVFI。 XVFI-Netは、2つの入力フレーム間の双方向オプティカルフロー学習(BiOF-I)およびターゲットから入力フレームへの双方向オプティカルフロー学習(BiOF-T)用の2つのカスケードモジュールで構成される再帰的マルチスケール共有構造に基づいています。 。オプティカルフローは、BiOF-Tモジュールで提案されている相補フロー反転(CFR)によって安定して近似されます。推論中、BiOF-Iモジュールは任意の入力スケールで開始できますが、BiOF-Tモジュールは元の入力スケールでのみ動作するため、高精度のVFIパフォーマンスを維持しながら推論を高速化できます。広範な実験結果は、XVFI-Netが非常に大きな動きと複雑なテクスチャを持つオブジェクトの重要な情報をうまくキャプチャできる一方で、最先端の方法ではパフォーマンスが低いことを示しています。さらに、XVFI-Netフレームワークは、以前の低解像度のベンチマークデータセットでも同等のパフォーマンスを発揮します。これは、アルゴリズムの堅牢性も示しています。すべてのソースコード、事前トレーニング済みモデル、および提案されたX4K1000FPSデータセットは、で公開されています。
In this paper, we firstly present a dataset (X4K1000FPS) of 4K videos of 1000 fps with the extreme motion to the research community for video frame interpolation (VFI), and propose an extreme VFI network, called XVFI-Net, that first handles the VFI for 4K videos with large motion. The XVFI-Net is based on a recursive multi-scale shared structure that consists of two cascaded modules for bidirectional optical flow learning between two input frames (BiOF-I) and for bidirectional optical flow learning from target to input frames (BiOF-T). The optical flows are stably approximated by a complementary flow reversal (CFR) proposed in BiOF-T module. During inference, the BiOF-I module can start at any scale of input while the BiOF-T module only operates at the original input scale so that the inference can be accelerated while maintaining highly accurate VFI performance. Extensive experimental results show that our XVFI-Net can successfully capture the essential information of objects with extremely large motions and complex textures while the state-of-the-art methods exhibit poor performance. Furthermore, our XVFI-Net framework also performs comparably on the previous lower resolution benchmark dataset, which shows a robustness of our algorithm as well. All source codes, pre-trained models, and proposed X4K1000FPS datasets are publicly available at
updated: Thu Aug 05 2021 07:17:11 GMT+0000 (UTC)
published: Tue Mar 30 2021 09:38:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト