arXiv reaDer
Real-Time Super-Resolution System of 4K-Video Based on Deep Learning
ビデオ超解像(VSR)テクノロジーは、低品質のビデオの再構築に優れており、補間ベースのアルゴリズムによって引き起こされる不快なブラー効果を回避します。ただし、計算が非常に複雑でメモリを占有しているため、実際のアプリケーション、特に大規模なVSRタスクでは、嘆かわしさの限界と実行時の推論が妨げられます。このホワイトペーパーでは、リアルタイムVSRシステムの可能性を探り、EGVSRと呼ばれる効率的で汎用的なVSRネットワークを設計します。提案されたEGVSRは、時間的コヒーレンスのための時空間的敵対的学習に基づいています。この論文では、4K解像度までのより高速なVSR処理能力を追求するために、軽量のネットワーク構造と効率的なアップサンプリング方法を選択して、高い視覚品質を保証しながらEGVSRネットワークに必要な計算を削減しようとしています。さらに、EGVSRネットワークの推論プロセスを最適化するために、バッチ正規化計算融合、畳み込み加速アルゴリズム、およびその他のニューラルネットワーク加速技術を実際のハードウェアプラットフォームに実装します。最後に、私たちのEGVSRは、4K @ 29.61FPSのリアルタイム処理能力を実現します。現在最先端のVSRネットワークであるTecoGANと比較して、計算密度を85.04%削減し、パフォーマンスを7.92倍高速化しています。視覚的品質に関して、提案されたEGVSRは、公開テストデータセットVid4のほとんどのメトリック(LPIPS、tOF、tLPなど)のリストのトップにあり、全体的なパフォーマンススコアで他の最先端の方法を上回っています。このプロジェクトのソースコードはにあります。
Video super-resolution (VSR) technology excels in reconstructing low-quality video, avoiding unpleasant blur effect caused by interpolation-based algorithms. However, vast computation complexity and memory occupation hampers the edge of deplorability and the runtime inference in real-life applications, especially for large-scale VSR task. This paper explores the possibility of real-time VSR system and designs an efficient and generic VSR network, termed EGVSR. The proposed EGVSR is based on spatio-temporal adversarial learning for temporal coherence. In order to pursue faster VSR processing ability up to 4K resolution, this paper tries to choose lightweight network structure and efficient upsampling method to reduce the computation required by EGVSR network under the guarantee of high visual quality. Besides, we implement the batch normalization computation fusion, convolutional acceleration algorithm and other neural network acceleration techniques on the actual hardware platform to optimize the inference process of EGVSR network. Finally, our EGVSR achieves the real-time processing capacity of 4K@29.61FPS. Compared with TecoGAN, the most advanced VSR network at present, we achieve 85.04% reduction of computation density and 7.92x performance speedups. In terms of visual quality, the proposed EGVSR tops the list of most metrics (such as LPIPS, tOF, tLP, etc.) on the public test dataset Vid4 and surpasses other state-of-the-art methods in overall performance score. The source code of this project can be found on
updated: Wed Jul 14 2021 14:42:34 GMT+0000 (UTC)
published: Mon Jul 12 2021 10:35:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト