この作業では、モバイル プラットフォーム上のリアルタイム アプリケーション向けの効率的な超解像アーキテクチャである QuickSRNet を紹介します。超解像は、画像を鮮明にし、シャープにし、より高い解像度に拡大します。ゲームやビデオ再生などのアプリケーションと、テレビ、スマートフォン、VR ヘッドセットのディスプレイ機能の向上に伴い、効率的なアップスケーリング ソリューションの必要性が高まっています。既存の深層学習ベースの超解像アプローチは視覚的品質の点で素晴らしい結果を達成していますが、コンピューティング、熱、および電力の制約があるモバイル デバイスでリアルタイム DL ベースの超解像を実現することは困難です。これらの課題に対処するために、QuickSRNet を提案します。これは、単一画像の超解像のための既存のニューラル アーキテクチャよりも優れた精度とレイテンシのトレードオフを提供する、シンプルでありながら効果的なアーキテクチャです。量子化に対する堅牢性を維持しながら、既存の残差ベースの超解像アーキテクチャを高速化するためのトレーニング トリックを紹介します。私たちが提案するアーキテクチャは、最新のスマートフォンで 2.2 ミリ秒で 2 倍のアップスケーリングを介して 1080p 出力を生成するため、高 fps リアルタイム アプリケーションに最適です。
In this work, we present QuickSRNet, an efficient super-resolution architecture for real-time applications on mobile platforms. Super-resolution clarifies, sharpens, and upscales an image to higher resolution. Applications such as gaming and video playback along with the ever-improving display capabilities of TVs, smartphones, and VR headsets are driving the need for efficient upscaling solutions. While existing deep learning-based super-resolution approaches achieve impressive results in terms of visual quality, enabling real-time DL-based super-resolution on mobile devices with compute, thermal, and power constraints is challenging. To address these challenges, we propose QuickSRNet, a simple yet effective architecture that provides better accuracy-to-latency trade-offs than existing neural architectures for single-image super resolution. We present training tricks to speed up existing residual-based super-resolution architectures while maintaining robustness to quantization. Our proposed architecture produces 1080p outputs via 2x upscaling in 2.2 ms on a modern smartphone, making it ideal for high-fps real-time applications.