arXiv reaDer
ビデオ超解像のための変形可能な非ローカルネットワーク
Deformable Non-local Network for Video Super-Resolution
 ビデオ超解像(VSR)タスクは、対応する低解像度(LR)フレームと複数の隣接フレームを使用して、高解像度(HR)ビデオフレームを復元することを目的としています。現在、多くの深層学習ベースのVSR手法は、オプティカルフローに依存してフレームアライメントを実行しています。最終的な回復結果は、オプティカルフローの精度によって大きく影響されます。ただし、オプティカルフローの推定は完全に正確ではなく、常にいくつかのエラーがあります。本論文では、非オプティカルフローベースの手法である、変形可能な非ローカルネットワーク(DNLN)を提案します。具体的には、変形可能な畳み込みを適用し、機能レベルでの適応アライメントの能力を向上させます。さらに、非ローカル構造を利用して、参照フレームと整列した隣接フレーム間のグローバル相関をキャプチャし、同時に整列したフレームの望ましい詳細を強化します。最終的な高品質HRビデオフレームを再構築するには、残余の密ブロックの残差を使用して、階層機能を最大限に活用します。ベンチマークデータセットの実験結果は、提案されたDNLNがVSRタスクで最先端のパフォーマンスを達成できることを示しています。
The video super-resolution (VSR) task aims to restore a high-resolution (HR) video frame by using its corresponding low-resolution (LR) frame and multiple neighboring frames. At present, many deep learning-based VSR methods rely on optical flow to perform frame alignment. The final recovery results will be greatly affected by the accuracy of optical flow. However, optical flow estimation cannot be completely accurate, and there are always some errors. In this paper, we propose a novel deformable non-local network (DNLN) which is a non-optical-flow-based method. Specifically, we apply the deformable convolution and improve its ability of adaptive alignment at the feature level. Furthermore, we utilize a non-local structure to capture the global correlation between the reference frame and the aligned neighboring frames, and simultaneously enhance desired fine details in the aligned frames. To reconstruct the final high-quality HR video frames, we use residual in residual dense blocks to take full advantage of the hierarchical features. Experimental results on benchmark datasets demonstrate that the proposed DNLN can achieve state-of-the-art performance on VSR task.
updated: Sat Dec 21 2019 13:40:34 GMT+0000 (UTC)
published: Tue Sep 24 2019 03:20:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト