arXiv reaDer
NAWQ-SR: 効率的なオンデバイス超解像のためのハイブリッド精密 NPU エンジン
NAWQ-SR: A Hybrid-Precision NPU Engine for Efficient On-Device Super-Resolution
近年、画像およびビデオ配信システムは、ディープ ラーニングの超解像 (SR) アプローチの統合を開始しており、ネットワーク条件への依存を減らしながら、前例のないビジュアル強化機能を活用しています。それにもかかわらず、SR モデルはワークロードとメモリ フットプリントに関して過度に要求が厳しいため、これらのソリューションをモバイル デバイスに展開することは依然として積極的な課題です。オンデバイス SR フレームワークの最近の進歩にもかかわらず、既存のシステムは、視覚的な品質に悪影響を与えたり、過度のエネルギー消費につながったり、利用可能なリソースを非効率的に使用したりします。この作業では、SR モデルをデバイス上で効率的に実行するための新しいフレームワークである NAWQ-SR を紹介します。新しいハイブリッド精度量子化技術とランタイム ニューラル イメージ コーデックにより、NAWQ-SR は最新のモバイル NPU の多精度機能を利用して、ユーザー指定の品質制約を満たしながらレイテンシを最小限に抑えます。さらに、NAWQ-SR は、実行時に算術精度を選択的に適応させて、SR DNN のレイヤーに幅広い表現力を持たせ、以前の NPU で可能だったものを超えて視覚的品質を向上させます。全体として、NAWQ-SR は、異種プロセッサ (MobiSR)、CPU (SplitSR)、および NPU (XLSR) を使用する最先端のオンデバイス SR システムよりも、それぞれ平均 7.9 倍、3 倍、および 1.91 倍のスピードアップを達成します。 .さらに、NAWQ-SR は、現状の INT8 NPU 設計よりも平均 3.2 倍のスピードアップと 0.39 dB 高い PSNR を実現しますが、最も重要なことは、視覚品質に対する量子化の悪影響を軽減し、新しい最先端技術を設定することです。 NPU ベースの SR の達成可能な品質。
In recent years, image and video delivery systems have begun integrating deep learning super-resolution (SR) approaches, leveraging their unprecedented visual enhancement capabilities while reducing reliance on networking conditions. Nevertheless, deploying these solutions on mobile devices still remains an active challenge as SR models are excessively demanding with respect to workload and memory footprint. Despite recent progress on on-device SR frameworks, existing systems either penalize visual quality, lead to excessive energy consumption or make inefficient use of the available resources. This work presents NAWQ-SR, a novel framework for the efficient on-device execution of SR models. Through a novel hybrid-precision quantization technique and a runtime neural image codec, NAWQ-SR exploits the multi-precision capabilities of modern mobile NPUs in order to minimize latency, while meeting user-specified quality constraints. Moreover, NAWQ-SR selectively adapts the arithmetic precision at run time to equip the SR DNN's layers with wider representational power, improving visual quality beyond what was previously possible on NPUs. Altogether, NAWQ-SR achieves an average speedup of 7.9x, 3x and 1.91x over the state-of-the-art on-device SR systems that use heterogeneous processors (MobiSR), CPU (SplitSR) and NPU (XLSR), respectively. Furthermore, NAWQ-SR delivers an average of 3.2x speedup and 0.39 dB higher PSNR over status-quo INT8 NPU designs, but most importantly mitigates the negative effects of quantization on visual quality, setting a new state-of-the-art in the attainable quality of NPU-based SR.
updated: Tue Mar 14 2023 11:48:37 GMT+0000 (UTC)
published: Thu Dec 15 2022 23:51:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト