近年、時間的フレームレートと空間分解能を同時に向上させるビデオエンハンスメントに専念するかなりの研究活動が見られました。ただし、既存の方法では、時間情報と空間情報の間の本質的な関係を調査できないか、最終的な時間/空間解像度の選択に柔軟性がありません。この作業では、パフォーマンスを向上させるために時空間相関を効果的に活用できる、制約のない時空間ビデオ超解像ネットワークを提案します。さらに、オプティカルフロー技術と一般化されたピクセルハッフル操作を使用して、時間フレームレートと空間解像度を完全に自由に調整できます。私たちの広範な実験は、提案された方法が最先端を凌駕するだけでなく、はるかに少ないパラメータと少ない実行時間を必要とすることを示しています。
Recent years have seen considerable research activities devoted to video enhancement that simultaneously increases temporal frame rate and spatial resolution. However, the existing methods either fail to explore the intrinsic relationship between temporal and spatial information or lack flexibility in the choice of final temporal/spatial resolution. In this work, we propose an unconstrained space-time video super-resolution network, which can effectively exploit space-time correlation to boost performance. Moreover, it has complete freedom in adjusting the temporal frame rate and spatial resolution through the use of the optical flow technique and a generalized pixelshuffle operation. Our extensive experiments demonstrate that the proposed method not only outperforms the state-of-the-art, but also requires far fewer parameters and less running time.