arXiv reaDer
合成から実像へ:ラベルのない実像データとのコラボレーションによる画像の曇り除去
From Synthetic to Real: Image Dehazing Collaborating with Unlabeled Real Data
単一画像の曇り除去は困難な作業であり、合成トレーニングデータと実際のテスト画像の間のドメインシフトは通常、既存の方法の劣化につながります。この問題に対処するために、ラベルのない実際のデータと連携する新しい画像の曇り除去フレームワークを提案します。最初に、解きほぐされた画像デヘイズネットワーク(DID-Net)を開発します。これは、特徴表現を3つのコンポーネントマップ、つまり、潜在的なヘイズのない画像、透過マップ、およびグローバル大気光推定に解きほぐし、の物理モデルを尊重します。ヘイズプロセス。 DID-Netは、スケール間で機能を段階的に統合することで3つのコンポーネントマップを予測し、独立したリファインメントネットワークを通過させることで各マップをリファインします。次に、解きほぐされた一貫性のある平均教師ネットワーク(DMT-Net)を使用して、ラベルのない実際のデータを連携させ、単一画像の曇り除去を促進します。具体的には、ラベルのない実際のデータで一貫性の損失を使用することにより、解きほぐされた各コンポーネントの大まかな予測と改良が、生徒と教師のネットワーク間で一貫するようにすることをお勧めします。新しく収集されたデータセット(Haze4K)と2つの広く使用されているヘイズ除去データセット(SOTSとHazeRD)、および実際のかすんでいる画像について、13の最先端のヘイズ除去方法と比較します。実験結果は、私たちの方法が既存の方法に比べて明らかに定量的および定性的な改善があることを示しています。
Single image dehazing is a challenging task, for which the domain shift between synthetic training data and real-world testing images usually leads to degradation of existing methods. To address this issue, we propose a novel image dehazing framework collaborating with unlabeled real data. First, we develop a disentangled image dehazing network (DID-Net), which disentangles the feature representations into three component maps, i.e. the latent haze-free image, the transmission map, and the global atmospheric light estimate, respecting the physical model of a haze process. Our DID-Net predicts the three component maps by progressively integrating features across scales, and refines each map by passing an independent refinement network. Then a disentangled-consistency mean-teacher network (DMT-Net) is employed to collaborate unlabeled real data for boosting single image dehazing. Specifically, we encourage the coarse predictions and refinements of each disentangled component to be consistent between the student and teacher networks by using a consistency loss on unlabeled real data. We make comparison with 13 state-of-the-art dehazing methods on a new collected dataset (Haze4K) and two widely-used dehazing datasets (i.e., SOTS and HazeRD), as well as on real-world hazy images. Experimental results demonstrate that our method has obvious quantitative and qualitative improvements over the existing methods.
updated: Fri Aug 06 2021 04:00:28 GMT+0000 (UTC)
published: Fri Aug 06 2021 04:00:28 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト