低照度の画像を強調する場合、多くの深層学習アルゴリズムは Retinex 理論に基づいています。ただし、レティネックス モデルは、暗闇に隠れている破損やライトアップ プロセスによって導入された破損を考慮していません。さらに、これらの方法は通常、面倒な多段階のトレーニング パイプラインを必要とし、畳み込みニューラル ネットワークに依存しており、長期的な依存関係を把握する際の限界を示しています。このホワイト ペーパーでは、シンプルでありながら原則に基づいた 1 段階の Retinex ベースのフレームワーク (ORF) を策定します。 ORF は、最初に照明情報を推定して低照度画像を明るくし、次に破損を復元して強調された画像を生成します。照明表現を利用して、異なる照明条件を持つ領域の非局所的相互作用のモデリングを指示する照明誘導トランスフォーマー (IGT) を設計します。 IGT を ORF にプラグインすることで、アルゴリズム Retinexformer を取得します。包括的な定量的および定性的な実験により、当社の Retinexformer が 7 つのベンチマークで最先端の方法よりも大幅に優れていることが実証されています。低照度オブジェクト検出に関するユーザー調査とアプリケーションも、私たちの方法の潜在的な実用的価値を明らかにしています。コードと事前トレーニング済みのモデルがリリースされます。
When enhancing low-light images, many deep learning algorithms are based on the Retinex theory. However, the Retinex model does not consider the corruptions hidden in the dark or introduced by the light-up process. Besides, these methods usually require a tedious multi-stage training pipeline and rely on convolutional neural networks, showing limitations in capturing long-range dependencies. In this paper, we formulate a simple yet principled One-stage Retinex-based Framework (ORF). ORF first estimates the illumination information to light up the low-light image and then restores the corruption to produce the enhanced image. We design an Illumination-Guided Transformer (IGT) that utilizes illumination representations to direct the modeling of non-local interactions of regions with different lighting conditions. By plugging IGT into ORF, we obtain our algorithm, Retinexformer. Comprehensive quantitative and qualitative experiments demonstrate that our Retinexformer significantly outperforms state-of-the-art methods on seven benchmarks. The user study and application on low-light object detection also reveal the latent practical values of our method. Codes and pre-trained models will be released.