arXiv reaDer
生物学的に着想を得たトーンマッピング演算子の知覚的最適化
Perceptual Optimization of a Biologically-Inspired Tone Mapping Operator
ハイダイナミックレンジ(HDR)写真の人気とアクセス可能性が高まるにつれ、ダイナミックレンジ圧縮とメディアプレゼンテーション用のトーンマッピングオペレーター(TMO)は実際に要求が厳しくなります。この論文では、生物学に触発され、計算効率が高く、知覚的に最適化された2段階のニューラルネットワークベースのHDR画像TMOを開発します。人間の視覚系(HVS)の初期段階の生理学に動機付けられたステージ1では、最初にHDR画像を正規化されたラプラシアンピラミッドに分解します。次に、この正規化された表現を入力として受け取り、対応するLDR画像のラプラシアンピラミッドを推定する2つの軽量ディープニューラルネットワーク(DNN)を使用します。トーンマッピングされた画質の人間の判断に対して較正された知覚メトリックである、正規化されたラプラシアンピラミッド距離(NLPD)を最小化することにより、トーンマッピングネットワークを最適化します。ステージ2では、学習したトーンマッピングネットワークにさまざまな最大輝度で「キャリブレーション」されたHDR画像を入力することにより、さまざまな彩度と詳細な可視性を備えた疑似多重露光画像スタックを生成します。次に、別の軽量DNNをトレーニングして、画像融合用の別の知覚的に調整されたメトリックであるMEF-SSIMのバリアントを最大化することにより、LDR画像スタックを目的のLDR画像に融合します。そうすることで、提案されたTMOは、キャリブレーションされていないHDR画像をトーンマップするために完全に自動化されます。独立したHDR画像のセット全体で、私たちの方法は一貫してより良い視覚品質の画像を生成し、最速のローカルTMOの1つであることがわかります。
With the increasing popularity and accessibility of high dynamic range (HDR) photography, tone mapping operators (TMOs) for dynamic range compression and medium presentation are practically demanding. In this paper, we develop a two-stage neural network-based HDR image TMO that is biologically-inspired, computationally efficient, and perceptually optimized. In Stage one, motivated by the physiology of the early stages of the human visual system (HVS), we first decompose an HDR image into a normalized Laplacian pyramid. We then use two lightweight deep neural networks (DNNs) that take this normalized representation as input and estimate the Laplacian pyramid of the corresponding LDR image. We optimize the tone mapping network by minimizing the normalized Laplacian pyramid distance (NLPD), a perceptual metric calibrated against human judgments of tone-mapped image quality. In Stage two, we generate a pseudo-multi-exposure image stack with different color saturation and detail visibility by inputting an HDR image ``calibrated'' with different maximum luminances to the learned tone mapping network. We then train another lightweight DNN to fuse the LDR image stack into a desired LDR image by maximizing a variant of MEF-SSIM, another perceptually calibrated metric for image fusion. By doing so, the proposed TMO is fully automatic to tone map uncalibrated HDR images. Across an independent set of HDR images, we find that our method produces images with consistently better visual quality, and is among the fastest local TMOs.
updated: Sat Jun 18 2022 08:06:29 GMT+0000 (UTC)
published: Sat Jun 18 2022 08:06:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト