arXiv reaDer
MobiSR: Efficient On-Device Super-Resolution through Heterogeneous Mobile Processors
近年、畳み込みネットワークは、超解像(SR)の画像復元タスクで前例のないパフォーマンスを実証しています。 SRは、アプリケーション固有の画質要求を満たすために単一の低解像度画像のアップスケーリングを必要とし、モバイルデバイスで重要な役割を果たします。プライバシー規制を遵守し、クラウドコンピューティングのオーバーヘッドを削減するために、SRモデルをデバイス上でローカルに実行することは、主要な代替アプローチを構成します。それでも、SRワークロードの計算とメモリの過剰な要件は、リソースに制約のあるモバイルプラットフォームでSRネットワークをマッピングする際に課題をもたらします。この作品は、MobiSR、効率的な超解像をデバイス上で実行するための新しいフレームワークを提示します。ターゲットのモバイルプラットフォームを前提として、提案されたフレームワークは、一般的なモデル圧縮技術を考慮し、デザインスペースを横断して、画質と処理速度の間で最高のパフォーマンスのトレードオフを達成します。実行時に、新しいスケジューラは、最小の処理遅延で必要な画像品質を満たすために、パッチの推定アップスケーリングの難易度に基づいて、着信画像パッチを適切なモデルエンジンペアにディスパッチします。定量的評価により、提案されたフレームワークは、高度に最適化された並列難易度認識マッピングの平均2.13倍および高度に最適化された単一の計算エンジン実装の平均4.79倍のデバイス上のSR設計をもたらすことを示しています。
In recent years, convolutional networks have demonstrated unprecedented performance in the image restoration task of super-resolution (SR). SR entails the upscaling of a single low-resolution image in order to meet application-specific image quality demands and plays a key role in mobile devices. To comply with privacy regulations and reduce the overhead of cloud computing, executing SR models locally on-device constitutes a key alternative approach. Nevertheless, the excessive compute and memory requirements of SR workloads pose a challenge in mapping SR networks on resource-constrained mobile platforms. This work presents MobiSR, a novel framework for performing efficient super-resolution on-device. Given a target mobile platform, the proposed framework considers popular model compression techniques and traverses the design space to reach the highest performing trade-off between image quality and processing speed. At run time, a novel scheduler dispatches incoming image patches to the appropriate model-engine pair based on the patch's estimated upscaling difficulty in order to meet the required image quality with minimum processing latency. Quantitative evaluation shows that the proposed framework yields on-device SR designs that achieve an average speedup of 2.13x over highly-optimized parallel difficulty-unaware mappings and 4.79x over highly-optimized single compute engine implementations.
updated: Wed Aug 21 2019 16:55:08 GMT+0000 (UTC)
published: Wed Aug 21 2019 16:55:08 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト