arXiv reaDer
Bokeh-Loss GAN: リアルなエッジ認識ボケのための多段階の敵対的トレーニング
Bokeh-Loss GAN: Multi-Stage Adversarial Training for Realistic Edge-Aware Bokeh
この論文では、単一の全焦点画像から浅い被写界深度画像をレンダリングしようとする単眼ボケ合成の問題に取り組みます。デジタル一眼レフ カメラとは異なり、モバイル アパーチャの物理的な制約により、この効果をモバイル カメラで直接キャプチャすることはできません。したがって、単一の画像入力からリアルな単眼ボケをレンダリングできるネットワークベースのアプローチを提案します。これを行うために、予測された単眼深度マップに基づいて、背景をぼかしながら前景のエッジをシャープにする 3 つの新しいエッジ認識ボケ損失を導入します。次に、敵対的損失を使用してこのモデルを微調整し、リアルなボケ効果を生成します。実験結果は、私たちのアプローチが、複雑なシーンを処理しながら、シャープなエッジを持つ快適で自然なボケ効果を生成できることを示しています。
In this paper, we tackle the problem of monocular bokeh synthesis, where we attempt to render a shallow depth of field image from a single all-in-focus image. Unlike in DSLR cameras, this effect can not be captured directly in mobile cameras due to the physical constraints of the mobile aperture. We thus propose a network-based approach that is capable of rendering realistic monocular bokeh from single image inputs. To do this, we introduce three new edge-aware Bokeh Losses based on a predicted monocular depth map, that sharpens the foreground edges while blurring the background. This model is then finetuned using an adversarial loss to generate a realistic Bokeh effect. Experimental results show that our approach is capable of generating a pleasing, natural Bokeh effect with sharp edges while handling complicated scenes.
updated: Thu Aug 25 2022 20:57:07 GMT+0000 (UTC)
published: Thu Aug 25 2022 20:57:07 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト