この論文は、深部ネットワークを用いた画像固有の曲線推定のタスクとして光増強を定式化する新しい方法、ゼロ参照深部曲線推定(Zero-DCE)を提示します。私たちの方法は、軽量のディープネットワークであるDCE-Netをトレーニングして、特定の画像のダイナミックレンジ調整のためのピクセル単位および高次の曲線を推定します。曲線推定は、ピクセル値の範囲、単調性、および微分可能性を考慮して特別に設計されています。 Zero-DCEは、参照画像に関する緩和された仮定で魅力的です。つまり、トレーニング中にペアのデータまたはペアのないデータを必要としません。これは、注意深く定式化された非参照損失関数のセットによって実現されます。これらの関数は、拡張品質を暗黙的に測定し、ネットワークの学習を促進します。その単純さにもかかわらず、それが多様な照明条件にうまく一般化することを示します。直感的でシンプルな非線形曲線マッピングによって画像の強調を実現できるため、この方法は効率的です。さらに、Zero-DCE ++と呼ばれるZero-DCEの高速化された軽量バージョンを紹介します。これは、わずか10Kのパラメーターを持つ小さなネットワークを利用します。 Zero-DCE ++は、Zero-DCEの拡張パフォーマンスを維持しながら、高速な推論速度(サイズ1200 * 900 * 3のイメージに対して単一のGPU / CPUで1000 / 11FPS)を備えています。さまざまなベンチマークでの広範な実験により、定性的および定量的に最先端の方法よりも優れた方法が実証されています。さらに、暗闇の中で顔を検出するための私たちの方法の潜在的な利点について説明します。ソースコードはhttps://li-chongyi.github.io/Proj_Zero-DCE++.htmlで公開されます。
This paper presents a novel method, Zero-Reference Deep Curve Estimation (Zero-DCE), which formulates light enhancement as a task of image-specific curve estimation with a deep network. Our method trains a lightweight deep network, DCE-Net, to estimate pixel-wise and high-order curves for dynamic range adjustment of a given image. The curve estimation is specially designed, considering pixel value range, monotonicity, and differentiability. Zero-DCE is appealing in its relaxed assumption on reference images, i.e., it does not require any paired or even unpaired data during training. This is achieved through a set of carefully formulated non-reference loss functions, which implicitly measure the enhancement quality and drive the learning of the network. Despite its simplicity, we show that it generalizes well to diverse lighting conditions. Our method is efficient as image enhancement can be achieved by an intuitive and simple nonlinear curve mapping. We further present an accelerated and light version of Zero-DCE, called Zero-DCE++, that takes advantage of a tiny network with just 10K parameters. Zero-DCE++ has a fast inference speed (1000/11 FPS on a single GPU/CPU for an image of size 1200*900*3) while keeping the enhancement performance of Zero-DCE. Extensive experiments on various benchmarks demonstrate the advantages of our method over state-of-the-art methods qualitatively and quantitatively. Furthermore, the potential benefits of our method to face detection in the dark are discussed. The source code will be made publicly available at https://li-chongyi.github.io/Proj_Zero-DCE++.html.