このペーパーでは、低解像度および低フレームレートのビデオから高解像度のスローモーションビデオを生成することを目的とした、時空間超解像の効率的なソリューションについて説明します。単純なソリューションは、ビデオ超解像モデルとビデオフレーム補間モデルを順次実行することです。ただし、このタイプのソリューションはメモリ効率が悪く、推論時間が長く、時空間関係プロパティを適切に使用できませんでした。この点で、最初に2次モデリングを使用してLR空間で補間します。入力LRフレームは、最先端のビデオ超解像法を使用して超解像されます。 LR補間フレームの合成に使用されるフローマップとブレンディングマスクは、双一次アップサンプリングを使用してHR空間で再利用されます。これは、モーション境界に沿ったアーティファクトを含むことが多いHR中間フレームの大まかな推定につながります。リファインメントネットワークを使用して、残余学習を介してHR中間フレームの品質を向上させます。私たちのモデルは軽量で、REDSSTSR検証セットの現在の最先端モデルよりも優れたパフォーマンスを発揮します。
This paper explores an efficient solution for Space-time Super-Resolution, aiming to generate High-resolution Slow-motion videos from Low Resolution and Low Frame rate videos. A simplistic solution is the sequential running of Video Super Resolution and Video Frame interpolation models. However, this type of solutions are memory inefficient, have high inference time, and could not make the proper use of space-time relation property. To this extent, we first interpolate in LR space using quadratic modeling. Input LR frames are super-resolved using a state-of-the-art Video Super-Resolution method. Flowmaps and blending mask which are used to synthesize LR interpolated frame is reused in HR space using bilinear upsampling. This leads to a coarse estimate of HR intermediate frame which often contains artifacts along motion boundaries. We use a refinement network to improve the quality of HR intermediate frame via residual learning. Our model is lightweight and performs better than current state-of-the-art models in REDS STSR Validation set.