arXiv reaDer
超解像のための QuantNAS: 量子化ノイズに対する効率的な量子化に適したアーキテクチャの探索
QuantNAS for super resolution: searching for efficient quantization-friendly architectures against quantization noise
低容量のデバイスでよく使用される画像超解像 (SR) 用の高性能で計算効率の高いニューラル ネットワーク モデルが常に必要とされています。このようなモデルを取得する 1 つの方法は、量子化などの既存のアーキテクチャを圧縮することです。別のオプションは、新しい効率的なソリューションを発見するニューラル アーキテクチャ検索 (NAS) です。特別に設計された SR 検索空間のための新しい量子化認識 NAS 手順を提案します。私たちのアプローチは、量子化に適した SR モデルを見つけるために NAS を実行します。検索は、パラメータを直接量子化するのではなく、パラメータとアクティベーションに量子化ノイズを追加することに依存しています。当社の QuantNAS は、固定アーキテクチャの均一または混合精度の量子化よりも PSNR/BitOps のトレードオフが優れたアーキテクチャを見つけます。さらに、ノイズ手順に対する検索は、重みを直接量子化するよりも最大 30% 高速です。
There is a constant need for high-performing and computationally efficient neural network models for image super-resolution (SR) often used on low-capacity devices. One way to obtain such models is to compress existing architectures, e.g. quantization. Another option is a neural architecture search (NAS) that discovers new efficient solutions. We propose a novel quantization-aware NAS procedure for a specifically designed SR search space. Our approach performs NAS to find quantization-friendly SR models. The search relies on adding quantization noise to parameters and activations instead of quantizing parameters directly. Our QuantNAS finds architectures with better PSNR/BitOps trade-off than uniform or mixed precision quantization of fixed architectures. Additionally, our search against noise procedure is up to 30% faster than directly quantizing weights.
updated: Sun Jan 08 2023 22:33:11 GMT+0000 (UTC)
published: Wed Aug 31 2022 13:12:16 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト