arXiv reaDer
現実世界の HDRTV 再構築に向けて: データ合成ベースのアプローチ
Towards Real World HDRTV Reconstruction: A Data Synthesis-based Approach
既存の深層学習ベースの HDRTV 再構成方法は、教師ありトレーニング用に SDRTV-HDRTV ペアを合成するための劣化手順として、1 種類のトーン マッピング オペレーター (TMO) を想定しています。このホワイト ペーパーでは、従来の TMO は効率的なダイナミック レンジ圧縮の事前確率を利用しますが、現実的な劣化のモデリングにはいくつかの欠点があります。情報の過剰保存、色の偏り、アーティファクトの可能性があり、トレーニングされた再構成ネットワークを実際に一般化するのが難しくなります。 -世界の事例。この問題を解決するために、学習ベースのデータ合成アプローチを提案し、ネットワーク構造と損失関数の両方にいくつかのトーン マッピング プライアを統合することにより、現実世界の SDRTV の特性を学習します。具体的には、グローバル変換とローカル変換の両方によって SDRTV を合成するためのガイダンスとして、事前のトーン マッピング結果を使用して条件付きの 2 ストリーム ネットワークを設計します。データ合成ネットワークをトレーニングするために、新しい自己教師ありコンテンツ損失を形成して、異なる輝度分布を持つ領域で合成された SDRTV のさまざまな側面を制約し、詳細をより現実的に強調する敵対的損失を形成します。私たちのアプローチの有効性を検証するために、私たちの方法で SDRTV-HDRTV ペアを合成し、それらを使用していくつかの HDRTV 再構成ネットワークをトレーニングします。次に、ラベル付けされた実世界の SDRTV とラベル付けされていない実世界の SDRTV をそれぞれ含む 2 つの推論データセットを収集します。実験結果は、合成されたデータでトレーニングされたネットワークが、既存のソリューションよりもこれら 2 つの実世界のデータセットに対して大幅に一般化されることを示しています。
Existing deep learning based HDRTV reconstruction methods assume one kind of tone mapping operators (TMOs) as the degradation procedure to synthesize SDRTV-HDRTV pairs for supervised training. In this paper, we argue that, although traditional TMOs exploit efficient dynamic range compression priors, they have several drawbacks on modeling the realistic degradation: information over-preservation, color bias and possible artifacts, making the trained reconstruction networks hard to generalize well to real-world cases. To solve this problem, we propose a learning-based data synthesis approach to learn the properties of real-world SDRTVs by integrating several tone mapping priors into both network structures and loss functions. In specific, we design a conditioned two-stream network with prior tone mapping results as a guidance to synthesize SDRTVs by both global and local transformations. To train the data synthesis network, we form a novel self-supervised content loss to constraint different aspects of the synthesized SDRTVs at regions with different brightness distributions and an adversarial loss to emphasize the details to be more realistic. To validate the effectiveness of our approach, we synthesize SDRTV-HDRTV pairs with our method and use them to train several HDRTV reconstruction networks. Then we collect two inference datasets containing both labeled and unlabeled real-world SDRTVs, respectively. Experimental results demonstrate that, the networks trained with our synthesized data generalize significantly better to these two real-world datasets than existing solutions.
updated: Sun Nov 06 2022 08:27:37 GMT+0000 (UTC)
published: Sun Nov 06 2022 08:27:37 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト