最近のハイダイナミックレンジ(HDR)技術は、現在のカメラの機能を拡張しており、広範囲の照明のあるシーンを単一のローダイナミックレンジ(LDR)画像で正確にキャプチャすることはできません。これは通常、露出値を変化させて複数のLDR画像をキャプチャし、その情報をマージされたHDR画像に組み込むことで実現されます。このようなアプローチは静的シーンではうまく機能しますが、動的シーンにはいくつかの課題があり、主に信頼できるピクセル対応を見つけるのが難しいことに関連しています。データ駆動型アプローチは、ペアのLDR-HDRトレーニングデータを使用してエンドツーエンドのマッピングを学習することで問題に取り組みますが、実際には、動的シーンのこのようなHDRグラウンドトゥルースラベルの生成には時間がかかり、特定の制御を想定した複雑な手順が必要です。シーンの動的要素(俳優のポーズなど)と繰り返し可能な照明条件(ストップモーションキャプチャ)。この作業では、HDRグラウンドトゥルースラベルの必要性を軽減する、学習可能なHDR推定のための新しい自己監視アプローチを提案します。 LDR画像の内部統計を活用してHDR疑似ラベルを作成することを提案します。入力画像の静的部分と露出の良い部分を別々に活用します。これらの部分は、合成照明クリッピングおよびモーション拡張と組み合わせて、高品質のトレーニング例を提供します。実験結果は、提案された自己監視アプローチを使用してトレーニングされたHDRモデルが、完全な監視の下でトレーニングされたモデルと競争力のあるパフォーマンスを達成し、同様に監視を必要としない以前の方法よりも大幅に優れていることを示しています。
Recent High Dynamic Range (HDR) techniques extend the capabilities of current cameras where scenes with a wide range of illumination can not be accurately captured with a single low-dynamic-range (LDR) image. This is generally accomplished by capturing several LDR images with varying exposure values whose information is then incorporated into a merged HDR image. While such approaches work well for static scenes, dynamic scenes pose several challenges, mostly related to the difficulty of finding reliable pixel correspondences. Data-driven approaches tackle the problem by learning an end-to-end mapping with paired LDR-HDR training data, but in practice generating such HDR ground-truth labels for dynamic scenes is time-consuming and requires complex procedures that assume control of certain dynamic elements of the scene (e.g. actor pose) and repeatable lighting conditions (stop-motion capturing). In this work, we propose a novel self-supervised approach for learnable HDR estimation that alleviates the need for HDR ground-truth labels. We propose to leverage the internal statistics of LDR images to create HDR pseudo-labels. We separately exploit static and well-exposed parts of the input images, which in conjunction with synthetic illumination clipping and motion augmentation provide high quality training examples. Experimental results show that the HDR models trained using our proposed self-supervision approach achieve performance competitive with those trained under full supervision, and are to a large extent superior to previous methods that equally do not require any supervision.