arXiv reaDer
知覚的に最適化され、自己調整されたトーン マッピング オペレーター
A Perceptually Optimized and Self-Calibrated Tone Mapping Operator
ハイ ダイナミック レンジ (HDR) 写真の人気とアクセシビリティの向上に伴い、ダイナミック レンジ圧縮用のトーン マッピング オペレーター (TMO) は実際には厳しいものになっています。この論文では、自己較正され、知覚的に最適化された 2 段階のニューラル ネットワーク ベースの TMO を開発します。第 1 段階では、人間の視覚系の初期段階の生理学に基づいて、まず HDR 画像を正規化されたラプラシアン ピラミッドに分解します。次に、2 つの軽量ディープ ニューラル ネットワーク (DNN) を使用して、正規化された表現を入力として受け取り、対応する LDR 画像のラプラシアン ピラミッドを推定します。正規化されたラプラシアン ピラミッド距離 (NLPD) を最小化することにより、トーン マッピング ネットワークを最適化します。ステージ 2 では、入力 HDR 画像が自己調整され、最終的な LDR 画像が計算されます。同じ HDR 画像を異なる最大輝度で再スケーリングして学習したトーン マッピング ネットワークにフィードし、詳細の可視性と色の彩度が異なる疑似多重露出画像スタックを生成します。次に、別の軽量 DNN をトレーニングして、多重露出画像融合 (MEF-SSIM) の構造的類似性インデックスのバリアントを最大化することにより、LDR 画像スタックを目的の LDR 画像に融合します。これは、融合された画像品質に知覚的に関連することが証明されています。 MEF を介して提案された自己調整メカニズムにより、TMO は、生理学主導でありながら、調整されていない HDR 画像を受け入れることができます。広範な実験により、私たちの方法が一貫して優れた視覚品質の画像を生成することが示されています。さらに、この方法は 3 つの軽量 DNN に基づいているため、最速のローカル TMO の 1 つです。
With the increasing popularity and accessibility of high dynamic range (HDR) photography, tone mapping operators (TMOs) for dynamic range compression are practically demanding. In this paper, we develop a two-stage neural network-based TMO that is self-calibrated and perceptually optimized. In Stage one, motivated by the physiology of the early stages of the human visual system, we first decompose an HDR image into a normalized Laplacian pyramid. We then use two lightweight deep neural networks (DNNs), taking the normalized representation as input and estimating the Laplacian pyramid of the corresponding LDR image. We optimize the tone mapping network by minimizing the normalized Laplacian pyramid distance (NLPD), a perceptual metric aligning with human judgments of tone-mapped image quality. In Stage two, the input HDR image is self-calibrated to compute the final LDR image. We feed the same HDR image but rescaled with different maximum luminances to the learned tone mapping network, and generate a pseudo-multi-exposure image stack with different detail visibility and color saturation. We then train another lightweight DNN to fuse the LDR image stack into a desired LDR image by maximizing a variant of the structural similarity index for multi-exposure image fusion (MEF-SSIM), which has been proven perceptually relevant to fused image quality. The proposed self-calibration mechanism through MEF enables our TMO to accept uncalibrated HDR images, while being physiology-driven. Extensive experiments show that our method produces images with consistently better visual quality. Additionally, since our method builds upon three lightweight DNNs, it is among the fastest local TMOs.
updated: Tue Apr 11 2023 06:58:52 GMT+0000 (UTC)
published: Sat Jun 18 2022 08:06:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト