arXiv reaDer
時空間機能の相互作用による時空間ビデオの超解像の強化
Enhancing Space-time Video Super-resolution via Spatial-temporal Feature Interaction
時空間ビデオ超解像(STVSR)の目標は、特定のビデオのフレームレート(時間解像度とも呼ばれます)と空間解像度の両方を上げることです。最近のアプローチは、エンドツーエンドのディープニューラルネットワークでSTVSRを解決します。一般的な解決策は、最初にビデオのフレームレートを上げることです。次に、さまざまなフレーム機能間で機能の改良を実行します。最後に、これらの機能の空間解像度を上げます。このプロセスでは、異なるフレームの機能間の時間的相関関係を注意深く活用します。ただし、異なる(空間)解像度のフィーチャ間の空間相関も非常に重要ですが、強調されていません。本論文では、異なるフレームと空間解像度の特徴間の空間的および時間的相関の両方を活用することによってSTVSRを強化するための時空間特徴相互作用ネットワークを提案する。具体的には、時空間フレーム補間モジュールが導入され、低解像度と高解像度の中間フレームの特徴を同時にインタラクティブに補間します。その後、時空間ローカルおよびグローバルリファインメントモジュールをそれぞれ展開して、さまざまな機能間の時空間相関を活用してリファインします。最後に、新しいモーション整合性損失を使用して、再構築されたフレーム間のモーションの連続性を強化します。 Vid4、Vimeo-90K、Adobe240の3つの標準ベンチマークで実験を行い、その結果は、私たちの方法が最先端の方法をかなりのマージンで改善することを示しています。私たちのコードはhttps://github.com/yuezijie/STINet-Space-time-Video-Super-resolutionで入手できます。
The target of space-time video super-resolution (STVSR) is to increase both the frame rate (also referred to as the temporal resolution) and the spatial resolution of a given video. Recent approaches solve STVSR with end-to-end deep neural networks. A popular solution is to first increase the frame rate of the video; then perform feature refinement among different frame features; and last increase the spatial resolutions of these features. The temporal correlation among features of different frames is carefully exploited in this process. The spatial correlation among features of different (spatial) resolutions, despite being also very important, is however not emphasized. In this paper, we propose a spatial-temporal feature interaction network to enhance STVSR by exploiting both spatial and temporal correlations among features of different frames and spatial resolutions. Specifically, the spatial-temporal frame interpolation module is introduced to interpolate low- and high-resolution intermediate frame features simultaneously and interactively. The spatial-temporal local and global refinement modules are respectively deployed afterwards to exploit the spatial-temporal correlation among different features for their refinement. Finally, a novel motion consistency loss is employed to enhance the motion continuity among reconstructed frames. We conduct experiments on three standard benchmarks, Vid4, Vimeo-90K and Adobe240, and the results demonstrate that our method improves the state of the art methods by a considerable margin. Our codes will be available at https://github.com/yuezijie/STINet-Space-time-Video-Super-resolution.
updated: Mon Jul 18 2022 22:10:57 GMT+0000 (UTC)
published: Mon Jul 18 2022 22:10:57 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト