時空間ビデオ超解像 (STVSR) の目標は、特定のビデオのフレーム レート (時間解像度とも呼ばれます) と空間解像度の両方を向上させることです。最近のアプローチでは、エンドツーエンドのディープ ニューラル ネットワークを使用して STVSR を解決しています。一般的な解決策は、まずビデオのフレーム レートを上げることです。次に、異なるフレーム フィーチャ間でフィーチャ リファインを実行します。最後に、これらのフィーチャの空間解像度を上げます。このプロセスでは、異なるフレームの特徴間の時間的相関が慎重に利用されます。異なる (空間) 解像度のフィーチャ間の空間相関も非常に重要ですが、強調されていません。この論文では、異なるフレームと空間解像度の特徴間の空間的および時間的相関の両方を利用することにより、STVSRを強化する時空間特徴相互作用ネットワークを提案します。具体的には、時空間フレーム補間モジュールが導入され、低解像度と高解像度の中間フレーム機能を同時にインタラクティブに補間します。その後、時空間ローカルおよびグローバル リファインメント モジュールがそれぞれ展開され、さまざまなフィーチャ間の時空間相関がリファインメントに利用されます。最後に、再構築されたフレーム間の動きの連続性を強化するために、新しい動きの一貫性の損失が採用されています。 Vid4、Vimeo-90K、および Adobe240 の 3 つの標準ベンチマークで実験を行い、結果は、私たちの方法が最先端の方法を大幅に改善することを示しています。コードは https://github.com/yuezijie/STINet-Space-time-Video-Super-resolution で入手できます。
The target of space-time video super-resolution (STVSR) is to increase both the frame rate (also referred to as the temporal resolution) and the spatial resolution of a given video. Recent approaches solve STVSR using end-to-end deep neural networks. A popular solution is to first increase the frame rate of the video; then perform feature refinement among different frame features; and last increase the spatial resolutions of these features. The temporal correlation among features of different frames is carefully exploited in this process. The spatial correlation among features of different (spatial) resolutions, despite being also very important, is however not emphasized. In this paper, we propose a spatial-temporal feature interaction network to enhance STVSR by exploiting both spatial and temporal correlations among features of different frames and spatial resolutions. Specifically, the spatial-temporal frame interpolation module is introduced to interpolate low- and high-resolution intermediate frame features simultaneously and interactively. The spatial-temporal local and global refinement modules are respectively deployed afterwards to exploit the spatial-temporal correlation among different features for their refinement. Finally, a novel motion consistency loss is employed to enhance the motion continuity among reconstructed frames. We conduct experiments on three standard benchmarks, Vid4, Vimeo-90K and Adobe240, and the results demonstrate that our method improves the state of the art methods by a considerable margin. Our codes will be available at https://github.com/yuezijie/STINet-Space-time-Video-Super-resolution.