arXiv reaDer
Flare7K++: 夜間のフレア除去などのための合成データセットと実際のデータセットの混合
Flare7K++: Mixing Synthetic and Real Datasets for Nighttime Flare Removal and Beyond
人工照明は通常、夜間に撮影された画像に強いレンズ フレア アーティファクトを残し、視覚品質と視覚アルゴリズムのパフォーマンスの両方を低下させます。既存のフレア除去アプローチは主に日中のフレアの除去に焦点を当てており、夜間の場合には失敗します。人工光の独特の輝度とスペクトル、フレアの多様なパターンと画像劣化のため、夜間のフレア除去は困難です。夜間のフレア除去データセットが不足しているため、この重要なタスクに関する研究が制約されています。この論文では、962 枚の実際に撮影されたフレア画像 (Flare-R) と 7,000 枚の合成フレア (Flare7K) で構成される、初の包括的な夜間フレア除去データセットである Flare7K++ を紹介します。 Flare7K++ は、Flare7K と比較して、合成フレアだけでは解決できない光源周囲の複雑な劣化を除去するのに特に効果的です。さらに、以前のフレア除去パイプラインは手動のしきい値とブラー カーネル設定に依存して光源を抽出していましたが、光源が小さい場合や露出過度でない場合には失敗する可能性があります。この問題に対処するために、Flare7K++ で光源のアノテーションを追加し、レンズ フレアを除去しながら光源を保持するための新しいエンドツーエンド パイプラインを提案します。当社のデータセットとパイプラインは、夜間フレア除去研究の将来の調査に貴重な基盤とベンチマークを提供します。広範な実験により、Flare7K++ が既存のフレア データセットの多様性を補完し、夜間フレア除去のフロンティアを現実世界のシナリオに向けて押し上げることが実証されました。
Artificial lights commonly leave strong lens flare artifacts on the images captured at night, degrading both the visual quality and performance of vision algorithms. Existing flare removal approaches mainly focus on removing daytime flares and fail in nighttime cases. Nighttime flare removal is challenging due to the unique luminance and spectrum of artificial lights, as well as the diverse patterns and image degradation of the flares. The scarcity of the nighttime flare removal dataset constraints the research on this crucial task. In this paper, we introduce Flare7K++, the first comprehensive nighttime flare removal dataset, consisting of 962 real-captured flare images (Flare-R) and 7,000 synthetic flares (Flare7K). Compared to Flare7K, Flare7K++ is particularly effective in eliminating complicated degradation around the light source, which is intractable by using synthetic flares alone. Besides, the previous flare removal pipeline relies on the manual threshold and blur kernel settings to extract light sources, which may fail when the light sources are tiny or not overexposed. To address this issue, we additionally provide the annotations of light sources in Flare7K++ and propose a new end-to-end pipeline to preserve the light source while removing lens flares. Our dataset and pipeline offer a valuable foundation and benchmark for future investigations into nighttime flare removal studies. Extensive experiments demonstrate that Flare7K++ supplements the diversity of existing flare datasets and pushes the frontier of nighttime flare removal towards real-world scenarios.
updated: Thu Jun 08 2023 02:41:19 GMT+0000 (UTC)
published: Wed Jun 07 2023 08:27:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト