arXiv reaDer
野生のフラッシュのみのキューを使用した堅牢な反射除去
Robust Reflection Removal with Flash-only Cues in the Wild
フラッシュ画像とアンビエント (フラッシュなし) 画像のペアからの強力な反射除去のための、シンプルでありながら効果的な反射のないキューを提案します。反射のないキューは、生データ空間の対応するフラッシュ画像からアンビエント画像を差し引いて得られるフラッシュのみの画像を利用します。フラッシュのみの画像は、暗い環境でフラッシュのみをオンにして撮影した画像に相当します。このフラッシュのみの画像は視覚的に反射がないため、周囲の画像の反射を推測するための強力な手がかりを提供できます。通常、フラッシュのみの画像にはアーティファクトがあるため、反射のないキューを利用するだけでなく、反射と透過を正確に推定するのに役立つアーティファクトの導入を回避する専用モデルをさらに提案します。さまざまなタイプの反射を伴う現実世界の画像に関する実験は、反射のないフラッシュのみの手がかりを使用したモデルの有効性を示しています。モデルは、最先端の反射除去アプローチよりも PSNR で 5.23dB 以上優れています。フラッシュとフラッシュなしのペア間のミスアライメントに対処するために、ハンドヘルド写真へのアプローチを拡張します。位置合わせされていないトレーニング データと位置合わせモジュールを使用すると、位置合わせされたモデルは、位置合わせされていないデータセットの PSNR で以前のバージョンよりも 3.19dB 以上優れています。また、線形 RGB 画像を学習データとして使用することも検討しています。ソース コードとデータセットは、https://github.com/ChenyangLEI/flash-reflection-removal で公開されています。
We propose a simple yet effective reflection-free cue for robust reflection removal from a pair of flash and ambient (no-flash) images. The reflection-free cue exploits a flash-only image obtained by subtracting the ambient image from the corresponding flash image in raw data space. The flash-only image is equivalent to an image taken in a dark environment with only a flash on. This flash-only image is visually reflection-free and thus can provide robust cues to infer the reflection in the ambient image. Since the flash-only image usually has artifacts, we further propose a dedicated model that not only utilizes the reflection-free cue but also avoids introducing artifacts, which helps accurately estimate reflection and transmission. Our experiments on real-world images with various types of reflection demonstrate the effectiveness of our model with reflection-free flash-only cues: our model outperforms state-of-the-art reflection removal approaches by more than 5.23dB in PSNR. We extend our approach to handheld photography to address the misalignment between the flash and no-flash pair. With misaligned training data and the alignment module, our aligned model outperforms our previous version by more than 3.19dB in PSNR on a misaligned dataset. We also study using linear RGB images as training data. Our source code and dataset are publicly available at https://github.com/ChenyangLEI/flash-reflection-removal.
updated: Mon Nov 13 2023 23:16:13 GMT+0000 (UTC)
published: Sat Nov 05 2022 14:09:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト