arXiv reaDer
デュアルサブネットとマルチステージ通信アップサンプリングによる大規模モーションビデオ超解像
Large Motion Video Super-Resolution with Dual Subnet and Multi-Stage Communicated Upsampling
ビデオ超解像(VSR)は、ビデオを低解像度(LR)で復元し、高解像度(HR)に改善することを目的としています。ビデオタスクの特性により、フレーム間のモーション情報を十分に考慮し、要約して、VSRアルゴリズムのガイダンスに利用することが非常に重要です。特に、ビデオに大きな動きが含まれている場合、従来の方法では、一貫性のない結果やアーティファクトが発生しやすくなります。この論文では、大きな動きのあるビデオの超解像のために、デュアルサブネットとマルチステージ通信アップサンプリング(DSMC)を備えた新しいディープニューラルネットワークを提案します。細かい暗黙の動き推定と動き補償(MEMC)、および粗い空間特徴抽出のために、3D畳み込み(U3D-RDN)を備えたU字型残余高密度ネットワークという名前の新しいモジュールを設計します。また、VSRをガイドするためにアップサンプリングの中間結果を最大限に活用するために、新しいマルチステージ通信アップサンプリング(MSCU)モジュールを紹介します。さらに、DSMCのトレーニングを支援するために、新しいデュアルサブネットが考案されています。このデュアル損失は、ソリューションスペースの削減と、一般化機能の強化に役立ちます。私たちの実験結果は、私たちの方法が最先端の方法と比較して大きな動きのあるビデオで優れたパフォーマンスを達成することを確認しています。
Video super-resolution (VSR) aims at restoring a video in low-resolution (LR) and improving it to higher-resolution (HR). Due to the characteristics of video tasks, it is very important that motion information among frames should be well concerned, summarized and utilized for guidance in a VSR algorithm. Especially, when a video contains large motion, conventional methods easily bring incoherent results or artifacts. In this paper, we propose a novel deep neural network with Dual Subnet and Multi-stage Communicated Upsampling (DSMC) for super-resolution of videos with large motion. We design a new module named U-shaped residual dense network with 3D convolution (U3D-RDN) for fine implicit motion estimation and motion compensation (MEMC) as well as coarse spatial feature extraction. And we present a new Multi-Stage Communicated Upsampling (MSCU) module to make full use of the intermediate results of upsampling for guiding the VSR. Moreover, a novel dual subnet is devised to aid the training of our DSMC, whose dual loss helps to reduce the solution space as well as enhance the generalization ability. Our experimental results confirm that our method achieves superior performance on videos with large motion compared to state-of-the-art methods.
updated: Mon Mar 22 2021 11:52:12 GMT+0000 (UTC)
published: Mon Mar 22 2021 11:52:12 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト