arXiv reaDer
Single Image Reflection Removal with Physically-Based Training Images
最近、深層学習ベースの単一画像反射分離法が広く利用されています。学習アプローチに利益をもたらすために、多数のトレーニング画像ペア(つまり、反射がある場合とない場合)がさまざまな方法で合成されましたが、それらは物理ベースの方向から離れています。この論文では、物理ベースのレンダリングを使用して、必要なトレーニング画像を忠実に合成し、対応するネットワーク構造と損失項を提案します。既存のRGBD / RGB画像を利用してメッシュを推定し、パストレーシングを使用してメッシュ、ガラス、レンズ間の光輸送を物理的にシミュレートしてトレーニングデータを合成し、ガラス反射の空間的に変化する異方性視覚効果をうまく再現します。分離をより適切にガイドするために、反射をバックトラックするためのモジュール、バックトラックネットワーク(BT-net)をさらに検討します。これにより、ガラス/レンズの複雑なゴースト、減衰、ぼやけ、焦点ぼけの影響が除去されます。これにより、歪みが発生する前に事前情報を取得できます。物理的にシミュレートされたトレーニングデータで追加の事前情報を考慮した提案された方法は、さまざまな実際の反射画像で検証され、最先端の技術と比較して視覚的に快適で数値的な利点を示します。
Recently, deep learning-based single image reflection separation methods have been exploited widely. To benefit the learning approach, a large number of training image pairs (i.e., with and without reflections) were synthesized in various ways, yet they are away from a physically-based direction. In this paper, physically based rendering is used for faithfully synthesizing the required training images, and a corresponding network structure and loss term are proposed. We utilize existing RGBD/RGB images to estimate meshes, then physically simulate the light transportation between meshes, glass, and lens with path tracing to synthesize training data, which successfully reproduce the spatially variant anisotropic visual effect of glass reflection. For guiding the separation better, we additionally consider a module, backtrack network (BT-net) for backtracking the reflections, which removes complicated ghosting, attenuation, blurred and defocused effect of glass/lens. This enables obtaining a priori information before having the distortion. The proposed method considering additional a priori information with physically simulated training data is validated with various real reflection images and shows visually pleasant and numerical advantages compared with state-of-the-art techniques.
updated: Wed Sep 30 2020 09:14:01 GMT+0000 (UTC)
published: Fri Apr 26 2019 17:09:38 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト