時空間ビデオ超解像(STVSR)は、対応する低フレームレート、低解像度のビデオシーケンスから高時空間解像度のビデオシーケンスを構築することを目的としています。時空間超解像のための時空間情報を検討する最近の成功に触発されて、この作業の主な目標は、高速動的イベントのビデオシーケンス内の空間的および時間的相関を完全に考慮することです。この目的のために、我々は時空間ビデオ超解像のための新しい一段メモリ強化グラフ注意ネットワーク(MEGAN)を提案します。具体的には、新しい長距離メモリグラフ集約(LMGA)モジュールを構築して、フィーチャマップのチャネル次元に沿った相関関係を動的にキャプチャし、チャネルフィーチャを適応的に集約して、フィーチャ表現を強化します。非ローカル残余ブロックを導入します。これにより、各チャネルごとの機能がグローバルな空間階層機能に参加できるようになります。さらに、プログレッシブフュージョンモジュールを採用し、複数のフレームからの時空間相関を広範囲に活用することで、表現能力をさらに強化しています。実験結果は、私たちの方法が最先端の方法と比較して定量的および視覚的に優れた結果を達成することを示しています。
Space-time video super-resolution (STVSR) aims to construct a high space-time resolution video sequence from the corresponding low-frame-rate, low-resolution video sequence. Inspired by the recent success to consider spatial-temporal information for space-time super-resolution, our main goal in this work is to take full considerations of spatial and temporal correlations within the video sequences of fast dynamic events. To this end, we propose a novel one-stage memory enhanced graph attention network (MEGAN) for space-time video super-resolution. Specifically, we build a novel long-range memory graph aggregation (LMGA) module to dynamically capture correlations along the channel dimensions of the feature maps and adaptively aggregate channel features to enhance the feature representations. We introduce a non-local residual block, which enables each channel-wise feature to attend global spatial hierarchical features. In addition, we adopt a progressive fusion module to further enhance the representation ability by extensively exploiting spatial-temporal correlations from multiple frames. Experiment results demonstrate that our method achieves better results compared with the state-of-the-art methods quantitatively and visually.