ほとんどの野生の画像はロー ダイナミック レンジ (LDR) 形式で保存され、ハイ ダイナミック レンジ (HDR) の視覚世界の部分的な観察として機能します。ダイナミック レンジが限られているにもかかわらず、これらの LDR 画像はさまざまな露出でキャプチャされることが多く、基になる HDR 画像分布に関する情報が暗示的に含まれています。この直感に触発されて、この作品では、私たちの知る限り、野生の LDR 画像コレクションから HDR 画像の生成モデルを完全に教師なしで学習する最初の方法を提示します。重要なアイデアは、敵対的生成ネットワーク (GAN) をトレーニングして HDR 画像を生成することです。HDR 画像は、さまざまな露出の下で LDR に投影されたときに、実際の LDR 画像と見分けがつきません。 HDR から LDR への投影は、露出とカメラ応答関数の確率論をキャプチャするカメラ モデルを介して実現されます。実験によると、私たちの方法 GlowGAN は、風景、稲妻、窓など、以前の監視された生成モデルが露出過度の画像を生成する多くの困難なケースで、写真のようにリアルな HDR 画像を合成できることを示しています。さらに、GlowGAN によって可能になる教師なし逆トーン マッピング (ITM) の新しいアプリケーションを示します。私たちの ITM メソッドは、トレーニングに HDR 画像やペアの多重露出画像を必要としませんが、そのようなデータでトレーニングされた最先端の教師あり学習モデルよりも、露出過度の領域についてより妥当な情報を再構築します。
Most in-the-wild images are stored in Low Dynamic Range (LDR) form, serving as a partial observation of the High Dynamic Range (HDR) visual world. Despite limited dynamic range, these LDR images are often captured with different exposures, implicitly containing information about the underlying HDR image distribution. Inspired by this intuition, in this work we present, to the best of our knowledge, the first method for learning a generative model of HDR images from in-the-wild LDR image collections in a fully unsupervised manner. The key idea is to train a generative adversarial network (GAN) to generate HDR images which, when projected to LDR under various exposures, are indistinguishable from real LDR images. The projection from HDR to LDR is achieved via a camera model that captures the stochasticity in exposure and camera response function. Experiments show that our method GlowGAN can synthesize photorealistic HDR images in many challenging cases such as landscapes, lightning, or windows, where previous supervised generative models produce overexposed images. We further demonstrate the new application of unsupervised inverse tone mapping (ITM) enabled by GlowGAN. Our ITM method does not need HDR images or paired multi-exposure images for training, yet it reconstructs more plausible information for overexposed regions than state-of-the-art supervised learning models trained on such data.