arXiv reaDer
EFENet: Reference-based Video Super-Resolution with Enhanced Flow Estimation
この論文では、参照ベースのビデオ超解像(RefVSR)の問題、つまり、高解像度(HR)参照フレームを利用して低解像度(LR)ビデオシーケンスを超解像する方法について考察します。 RefVSRへの既存のアプローチは、基本的に、解像度のギャップと長い時間範囲が存在する場合に、参照と入力シーケンスを整列させようとします。ただし、入力シーケンス内の時間構造を無視するか、累積的なアラインメントエラーが発生します。これらの問題に対処するために、HRリファレンスに含まれる視覚的手がかりとLRシーケンスに含まれる時間情報を同時に活用するEFENetを提案します。 EFENetは最初に、リファレンスと各LRフレーム間のクロススケールフローをグローバルに推定します。次に、EFENetの新しいフローリファインメントモジュールは、推定されたすべてのフローを使用して、最も遠いフレームに関するフローをリファインします。これにより、シーケンス内のグローバルな時間情報が活用されるため、アライメントエラーが効果的に削減されます。私たちは、私たちのアプローチの長所を検証し、提案されたフレームワークが最先端の方法よりも優れていることを実証するために、包括的な評価を提供します。コードはで入手できます。
In this paper, we consider the problem of reference-based video super-resolution(RefVSR), i.e., how to utilize a high-resolution (HR) reference frame to super-resolve a low-resolution (LR) video sequence. The existing approaches to RefVSR essentially attempt to align the reference and the input sequence, in the presence of resolution gap and long temporal range. However, they either ignore temporal structure within the input sequence, or suffer accumulative alignment errors. To address these issues, we propose EFENet to exploit simultaneously the visual cues contained in the HR reference and the temporal information contained in the LR sequence. EFENet first globally estimates cross-scale flow between the reference and each LR frame. Then our novel flow refinement module of EFENet refines the flow regarding the furthest frame using all the estimated flows, which leverages the global temporal information within the sequence and therefore effectively reduces the alignment errors. We provide comprehensive evaluations to validate the strengths of our approach, and to demonstrate that the proposed framework outperforms the state-of-the-art methods. Code is available at
updated: Fri Oct 15 2021 01:36:30 GMT+0000 (UTC)
published: Fri Oct 15 2021 01:36:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト