arXiv reaDer
GridDehazeNet +:単一画像の曇り除去のためのタスク内知識転送を備えた拡張マルチスケールネットワーク
GridDehazeNet+: An Enhanced Multi-Scale Network with Intra-Task Knowledge Transfer for Single Image Dehazing
単一画像の曇り除去のために、GridDehazeNet +と呼ばれる拡張マルチスケールネットワークを提案します。提案された曇り除去方法は、大気散乱モデル(ASM)に依存せず、このモデルによって提供される次元削減を必ずしも実行しない理由についての説明が提供されます。 GridDehazeNet +は、前処理、バックボーン、後処理の3つのモジュールで構成されています。トレーニング可能な前処理モジュールは、手動で選択された前処理方法によって生成された派生入力と比較して、より優れた多様性とより適切な機能を備えた学習入力を生成できます。バックボーンモジュールは、2つの主要な機能強化を備えたマルチスケール推定を実装します。1)異なるスケール間の密な接続を介してボトルネックの問題を効果的に軽減する新しいグリッド構造。 2)デヘイズ関連機能を統合することによって適応融合を容易にすることができる空間チャネル注意ブロック。後処理モジュールは、最終出力のアーティファクトを減らすのに役立ちます。ドメインシフトのため、合成データでトレーニングされたモデルは、実際のデータでは一般化されない場合があります。この問題に対処するために、合成データの分布を実際のデータの分布と一致するように形成し、結果の変換されたデータを使用してネットワークを微調整します。また、翻訳されたデータの学習プロセスを支援するために、合成ドメイン知識を記憶して利用できる新しいタスク内知識転送メカニズムを提案します。実験結果は、提案された方法がいくつかの合成曇り除去データセットで最先端を上回り、微調整後に実世界のかすんでいる画像で優れた性能を達成することを示しています。
We propose an enhanced multi-scale network, dubbed GridDehazeNet+, for single image dehazing. The proposed dehazing method does not rely on the Atmosphere Scattering Model (ASM), and an explanation as to why it is not necessarily performing the dimension reduction offered by this model is provided. GridDehazeNet+ consists of three modules: pre-processing, backbone, and post-processing. The trainable pre-processing module can generate learned inputs with better diversity and more pertinent features as compared to those derived inputs produced by hand-selected pre-processing methods. The backbone module implements multi-scale estimation with two major enhancements: 1) a novel grid structure that effectively alleviates the bottleneck issue via dense connections across different scales; 2) a spatial-channel attention block that can facilitate adaptive fusion by consolidating dehazing-relevant features. The post-processing module helps to reduce the artifacts in the final output. Due to domain shift, the model trained on synthetic data may not generalize well on real data. To address this issue, we shape the distribution of synthetic data to match that of real data, and use the resulting translated data to finetune our network. We also propose a novel intra-task knowledge transfer mechanism that can memorize and take advantage of synthetic domain knowledge to assist the learning process on the translated data. Experimental results demonstrate that the proposed method outperforms the state-of-the-art on several synthetic dehazing datasets, and achieves the superior performance on real-world hazy images after finetuning.
updated: Tue Nov 30 2021 18:18:53 GMT+0000 (UTC)
published: Thu Mar 25 2021 17:35:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト