arXiv reaDer
LUT の DNN に向けて: 複数のルックアップ テーブルを使用した効率的な画像復元の学習
Toward DNN of LUTs: Learning Efficient Image Restoration with Multiple Look-Up Tables
エッジ デバイスで高精細スクリーンが広く使用されるようになったことで、効率的な画像復元アルゴリズムが強く求められています。この要求に応えるために、ルックアップ テーブル (LUT) にディープ ラーニング モデルをキャッシュする方法が最近導入されました。ただし、単一の LUT のサイズは、そのインデックス作成容量の増加に伴って指数関数的に増加し、受容野が制限され、パフォーマンスが制限されます。単一 LUT ソリューションのこの固有の制限を克服するために、MuLUT と呼ばれる、ニューラル ネットワークのような複数の LUT を構築するための普遍的な方法を提案します。まず、複数の LUT を並列に構築するために、任意のパターンの一般的な実装と同様に、新しい補完的なインデックス パターンを考案します。次に、カスケードされた LUT 間の階層的なインデックス付けを可能にする再インデックス付けメカニズムを提案します。最後に、チャネル間の相互作用を可能にするチャネル インデックスを導入し、LUT がカラー チャネルを共同で処理できるようにします。これらの原則に基づいた方法で、MuLUT の合計サイズはそのインデックス作成能力に比例し、拡張された受容野で優れたパフォーマンスを得る実用的なソリューションが得られます。超解像、デモザイキング、ノイズ除去、デブロッキングなど、さまざまな画像復元タスクにおける MuLUT の利点を調べます。 MuLUT は、単一 LUT ソリューションに比べて大幅な改善を実現します。たとえば、超解像で最大 1.1dB の PSNR、グレースケールのノイズ除去で最大 2.8dB の PSNR を実現しながら、軽量ディープと比較してエネルギー コストが 100 分の 1 である効率を維持します。ニューラル ネットワーク。コードとトレーニング済みモデルは、https://github.com/ddlee-cn/MuLUT で公開されています。
The widespread usage of high-definition screens on edge devices stimulates a strong demand for efficient image restoration algorithms. The way of caching deep learning models in a look-up table (LUT) is recently introduced to respond to this demand. However, the size of a single LUT grows exponentially with the increase of its indexing capacity, which restricts its receptive field and thus the performance. To overcome this intrinsic limitation of the single-LUT solution, we propose a universal method to construct multiple LUTs like a neural network, termed MuLUT. Firstly, we devise novel complementary indexing patterns, as well as a general implementation for arbitrary patterns, to construct multiple LUTs in parallel. Secondly, we propose a re-indexing mechanism to enable hierarchical indexing between cascaded LUTs. Finally, we introduce channel indexing to allow cross-channel interaction, enabling LUTs to process color channels jointly. In these principled ways, the total size of MuLUT is linear to its indexing capacity, yielding a practical solution to obtain superior performance with the enlarged receptive field. We examine the advantage of MuLUT on various image restoration tasks, including super-resolution, demosaicing, denoising, and deblocking. MuLUT achieves a significant improvement over the single-LUT solution, e.g., up to 1.1dB PSNR for super-resolution and up to 2.8dB PSNR for grayscale denoising, while preserving its efficiency, which is 100× less in energy cost compared with lightweight deep neural networks. Our code and trained models are publicly available at https://github.com/ddlee-cn/MuLUT.
updated: Sat Mar 25 2023 16:00:33 GMT+0000 (UTC)
published: Sat Mar 25 2023 16:00:33 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト