arXiv reaDer
画像のかすみのための教師なしニューラルレンダリング
Unsupervised Neural Rendering for Image Hazing
画像のかすみは、特定のきれいな画像からかすんでいる画像をレンダリングすることを目的としています。これは、ゲーム、撮影、写真のフィルタリング、画像のかすみなど、さまざまな実用的なアプリケーションに適用できます。もっともらしいヘイズを生成するために、ぼんやりとした画像レンダリングにおける2つのあまり触れられていないが難しい問題、つまりi)補助情報なしで単一の画像から透過マップを推定する方法とii)模範から気流を適応的に学習する方法を研究します。 、対になっていない実際のぼんやりとした画像。この目的のために、HazeGENと呼ばれる画像のかすみのニューラルレンダリング方法を提案します。具体的には、HazeGENは知識駆動型ニューラルネットワークであり、新しい事前情報を利用して透過マップを推定します。つまり、透過マップと入力されたクリーンな画像の間に構造の類似性(輪郭や輝度など)が存在します。エアライトを適応的に学習するために、別の新しい事前分布に基づいてニューラルモジュールを構築します。つまり、レンダリングされたかすんでいる画像とエグザンプラは、エアライトの分布が類似しています。私たちの知る限り、これは教師なしの方法でかすんでいる画像を深くレンダリングする最初の試みである可能性があります。 HazeGENは、既存のヘイズ生成方法と比較して、教師なし、学習可能、および制御可能な方法でヘイズ画像をレンダリングします。これにより、ペアデータ収集での手間のかかる作業やヘイズ生成でのドメインシフトの問題を回避できます。広範な実験は、定性的および定量的比較の両方でいくつかのベースラインと比較して、私たちの方法の有望なパフォーマンスを示しています。コードは、承認後にGitHubでリリースされます。
Image hazing aims to render a hazy image from a given clean one, which could be applied to a variety of practical applications such as gaming, filming, photographic filtering, and image dehazing. To generate plausible haze, we study two less-touched but challenging problems in hazy image rendering, namely, i) how to estimate the transmission map from a single image without auxiliary information, and ii) how to adaptively learn the airlight from exemplars, i.e., unpaired real hazy images. To this end, we propose a neural rendering method for image hazing, dubbed as HazeGEN. To be specific, HazeGEN is a knowledge-driven neural network which estimates the transmission map by leveraging a new prior, i.e., there exists the structure similarity (e.g., contour and luminance) between the transmission map and the input clean image. To adaptively learn the airlight, we build a neural module based on another new prior, i.e., the rendered hazy image and the exemplar are similar in the airlight distribution. To the best of our knowledge, this could be the first attempt to deeply rendering hazy images in an unsupervised fashion. Comparing with existing haze generation methods, HazeGEN renders the hazy images in an unsupervised, learnable, and controllable manner, thus avoiding the labor-intensive efforts in paired data collection and the domain-shift issue in haze generation. Extensive experiments show the promising performance of our method comparing with some baselines in both qualitative and quantitative comparisons. The code will be released on GitHub after acceptance.
updated: Wed Jul 14 2021 13:15:14 GMT+0000 (UTC)
published: Wed Jul 14 2021 13:15:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト