arXiv reaDer
固定FLOPカウントでのハイパーネットワークの過剰パラメータ化により、高速ニューラル画像の強調が可能になります
Overparametrization of HyperNetworks at Fixed FLOP-Count Enables Fast Neural Image Enhancement
深い畳み込みニューラルネットワークは、小型のモバイルカメラセンサーで撮影された画像を強化し、ノイズ除去、ノイズ除去、超解像などのタスクに優れています。ただし、モバイルデバイスで実際に使用するには、これらのネットワークで必要なFLOPが多すぎることが多く、畳み込み層のFLOPを減らすと、パラメーター数も減ります。これは、パラメータが大幅に過剰化されたニューラルネットワークが最も一般化するものであることが多いという最近の発見を考慮すると問題があります。この論文では、HyperNetworksを使用して、標準畳み込みのパラメータに対するFLOPの固定比率を破ることを提案します。これにより、チューリッヒのRAW-to-DSLR(ZRR)データセットでSSIMおよびMS-SSIMの以前の最先端アーキテクチャを10倍以上削減したFLOPカウントで超えることができます。 ZRRでは、大きな画像制限で、固定FLOPカウントでの「二重降下」動作と一致する一般化曲線をさらに観察します。最後に、同じ手法を既存のネットワーク(VDN)に適用して、スマートフォンの画像ノイズ除去データセット(SIDD)の忠実度を維持しながら、計算コストを削減できることを示します。主要な機能のコードは付録に記載されています。
Deep convolutional neural networks can enhance images taken with small mobile camera sensors and excel at tasks like demoisaicing, denoising and super-resolution. However, for practical use on mobile devices these networks often require too many FLOPs and reducing the FLOPs of a convolution layer, also reduces its parameter count. This is problematic in view of the recent finding that heavily over-parameterized neural networks are often the ones that generalize best. In this paper we propose to use HyperNetworks to break the fixed ratio of FLOPs to parameters of standard convolutions. This allows us to exceed previous state-of-the-art architectures in SSIM and MS-SSIM on the Zurich RAW- to-DSLR (ZRR) data-set at > 10x reduced FLOP-count. On ZRR we further observe generalization curves consistent with 'double-descent' behavior at fixed FLOP-count, in the large image limit. Finally we demonstrate the same technique can be applied to an existing network (VDN) to reduce its computational cost while maintaining fidelity on the Smartphone Image Denoising Dataset (SIDD). Code for key functions is given in the appendix.
updated: Tue May 18 2021 12:27:05 GMT+0000 (UTC)
published: Tue May 18 2021 12:27:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト