arXiv reaDer
Optical-Flow-Reuse-Based Bidirectional Recurrent Network for Space-Time Video Super-Resolution
このホワイトペーパーでは、特定のビデオの空間解像度とフレームレートを同時に向上させる、時空間ビデオ超解像(ST-VSR)のタスクについて検討します。ただし、既存の方法は通常、広範囲の隣接フレームからの情報を効率的に活用する方法や、位置合わせに変形可能なConvLSTM戦略を使用して推論の速度低下を回避する方法に問題があります。 %最近のいくつかのLSTMベースのST-VSRメソッドは、有望な結果を達成しています。既存の方法の上記の問題を解決するために、ConvLSTMを使用して隣接するフレーム間の知識を活用する代わりに、粗いものから細かいものへの双方向リカレントニューラルネットワークを提案します。具体的には、最初に双方向オプティカルフローを使用して非表示状態を更新し、次にフィーチャリファインメントモジュール(FRM)を使用して結果をリファインします。広範囲の隣接フレームを十分に活用できるため、この方法ではローカル情報とグローバル情報をより効果的に活用します。さらに、隣接するフレームの中間フローを再利用できるオプティカルフロー再利用戦略を提案します。これにより、既存のLSTMベースの設計と比較してフレームアライメントの計算負荷が大幅に軽減されます。広範な実験により、オプティカルフローの再利用ベースの双方向リカレントネットワーク(OFR-BRN)は、精度と効率の両方の点で最先端の方法よりも優れていることが実証されています。
In this paper, we consider the task of space-time video super-resolution (ST-VSR), which simultaneously increases the spatial resolution and frame rate for a given video. However, existing methods typically suffer from difficulties in how to efficiently leverage information from a large range of neighboring frames or avoiding the speed degradation in the inference using deformable ConvLSTM strategies for alignment. % Some recent LSTM-based ST-VSR methods have achieved promising results. To solve the above problem of the existing methods, we propose a coarse-to-fine bidirectional recurrent neural network instead of using ConvLSTM to leverage knowledge between adjacent frames. Specifically, we first use bi-directional optical flow to update the hidden state and then employ a Feature Refinement Module (FRM) to refine the result. Since we could fully utilize a large range of neighboring frames, our method leverages local and global information more effectively. In addition, we propose an optical flow-reuse strategy that can reuse the intermediate flow of adjacent frames, which considerably reduces the computation burden of frame alignment compared with existing LSTM-based designs. Extensive experiments demonstrate that our optical-flow-reuse-based bidirectional recurrent network(OFR-BRN) is superior to the state-of-the-art methods both in terms of accuracy and efficiency.
updated: Wed Oct 13 2021 15:21:30 GMT+0000 (UTC)
published: Wed Oct 13 2021 15:21:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト