arXiv reaDer
RIDCP: 高品質の Codebook Priors による実画像のかすみ除去の活性化
RIDCP: Revitalizing Real Image Dehazing via High-Quality Codebook Priors
既存のかすみ除去アプローチは、ペアになった実際のデータと堅牢な事前分布がないため、現実世界のかすみ画像を処理するのに苦労しています。この作業では、より現実的なかすんでいるデータを合成し、より堅牢な事前分布をネットワークに導入するという観点から、実画像のかすみ除去の新しいパラダイムを提示します。具体的には、(1) 事実上の物理散乱モデルを採用する代わりに、実際のぼやけた画像の劣化を再考し、さまざまな劣化タイプを考慮した現象論的パイプラインを提案します。 (2) 高品質の Codebook Priors (RIDCP) による Real Image Dehazing ネットワークを提案します。まず、VQGAN は大規模な高品質のデータセットで事前トレーニングされ、高品質の事前分布 (HQP) をカプセル化した個別のコードブックを取得します。ヘイズによってもたらされる悪影響を HQP に置き換えた後、新しい正規化された特徴アライメント モジュールを搭載したデコーダーは、高品質の特徴を効果的に利用し、クリーンな結果を生成できます。ただし、劣化パイプラインは合成データと実際のデータの間のドメインギャップを大幅に緩和しますが、それを回避することは依然として困難であり、HQP が実際に一致するという課題があります。したがって、制御可能なマッチング操作によって特徴を HQP にマッチングするときに距離を再計算します。これにより、より適切な対応物を見つけることが容易になります。説明可能な解決策に基づいてマッチングを制御するための推奨事項を提供します。ユーザーは好みに応じて強調度を柔軟に調整することもできます。広範な実験により、データ合成パイプラインの有効性と、実画像のかすみ除去における RIDCP の優れたパフォーマンスが検証されます。
Existing dehazing approaches struggle to process real-world hazy images owing to the lack of paired real data and robust priors. In this work, we present a new paradigm for real image dehazing from the perspectives of synthesizing more realistic hazy data and introducing more robust priors into the network. Specifically, (1) instead of adopting the de facto physical scattering model, we rethink the degradation of real hazy images and propose a phenomenological pipeline considering diverse degradation types. (2) We propose a Real Image Dehazing network via high-quality Codebook Priors (RIDCP). Firstly, a VQGAN is pre-trained on a large-scale high-quality dataset to obtain the discrete codebook, encapsulating high-quality priors (HQPs). After replacing the negative effects brought by haze with HQPs, the decoder equipped with a novel normalized feature alignment module can effectively utilize high-quality features and produce clean results. However, although our degradation pipeline drastically mitigates the domain gap between synthetic and real data, it is still intractable to avoid it, which challenges HQPs matching in the wild. Thus, we re-calculate the distance when matching the features to the HQPs by a controllable matching operation, which facilitates finding better counterparts. We provide a recommendation to control the matching based on an explainable solution. Users can also flexibly adjust the enhancement degree as per their preference. Extensive experiments verify the effectiveness of our data synthesis pipeline and the superior performance of RIDCP in real image dehazing.
updated: Sat Apr 08 2023 12:12:24 GMT+0000 (UTC)
published: Sat Apr 08 2023 12:12:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト