arXiv reaDer
暗い画像の高速で軽量な復元に向けて
Towards Fast and Light-Weight Restoration of Dark Images
暗くてほぼゼロのルクス条件で高品質の画像をキャプチャする機能は、コンピュータビジョンコミュニティの長年の追求でした。チェンらによる独創的な作品。 [5]は特にこの分野への新たな関心を引き起こし、再建を改善するために彼らの仕事の上に構築された方法をもたらしました。ただし、組み込みシステム、監視カメラ、自律型ロボット、スマートフォンなどのエッジデバイスでの実用性と低照度強化アルゴリズムの展開では、ソリューションは、GPUメモリの制限や処理能力などの追加の制約を尊重する必要があります。これを念頭に置いて、ネットワーク遅延、メモリ使用率、モデルパラメータ、および再構築品質のバランスをとることを目的としたディープニューラルネットワークアーキテクチャを提案します。重要なアイデアは、高解像度(HR)スペースでの計算を禁止し、それらを低解像度(LR)スペースに制限することです。ただし、LR空間で計算の大部分を実行すると、復元されたイメージにアーティファクトが発生します。したがって、復元されたイメージに多くのアーティファクトを発生させることなく、HRスペースとLRスペースの間を効果的に移動できるPackおよびUnPack操作を提案します。 CPU上でも3秒の球場でフル解像度2848x4256の非常に暗い単一画像を強化できることを示します。これは、モデルパラメータが2〜7倍少なく、メモリ使用率が2〜3倍低く、5〜20倍高速でありながら、最先端のアルゴリズムと比較して競争力のある画像再構成品質を維持することで実現します。
The ability to capture good quality images in the dark and near-zero lux conditions has been a long-standing pursuit of the computer vision community. The seminal work by Chen et al. [5] has especially caused renewed interest in this area, resulting in methods that build on top of their work in a bid to improve the reconstruction. However, for practical utility and deployment of low-light enhancement algorithms on edge devices such as embedded systems, surveillance cameras, autonomous robots and smartphones, the solution must respect additional constraints such as limited GPU memory and processing power. With this in mind, we propose a deep neural network architecture that aims to strike a balance between the network latency, memory utilization, model parameters, and reconstruction quality. The key idea is to forbid computations in the High-Resolution (HR) space and limit them to a Low-Resolution (LR) space. However, doing the bulk of computations in the LR space causes artifacts in the restored image. We thus propose Pack and UnPack operations, which allow us to effectively transit between the HR and LR spaces without incurring much artifacts in the restored image. We show that we can enhance a full resolution, 2848 x 4256, extremely dark single-image in the ballpark of 3 seconds even on a CPU. We achieve this with 2 - 7x fewer model parameters, 2 - 3x lower memory utilization, 5 - 20x speed up and yet maintain a competitive image reconstruction quality compared to the state-of-the-art algorithms.
updated: Sat Nov 28 2020 13:53:50 GMT+0000 (UTC)
published: Sat Nov 28 2020 13:53:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト