arXiv reaDer
物理学を意識した半監視型水中画像強化
Physics-Aware Semi-Supervised Underwater Image Enhancement
水中画像は通常、水域の伝送媒体による劣化を受けます。この問題に対処するために、従来の事前ベースのアプローチと深層学習ベースの手法の両方が使用されてきました。ただし、前者の柔軟性のない仮定により、さまざまな水中シーンを処理する際の有効性が損なわれることが多く、また、後者の目に見えない画像への一般化は、データが不十分なために通常弱められます。この研究では、物理ベースの水中画像形成モデル (IFM) と水中画像強化 (UIE) の深層学習技術の両方を活用します。この目的のために、我々は、伝送推定ストリーム(T-Stream)と周囲光推定ストリーム(A-Stream)で構成される新しい物理認識デュアルストリーム水中画像強化ネットワーク、つまりPA-UIENetを提案します。このネットワークは、IFM の劣化パラメータを明示的に推定することにより、UIE タスクを実行します。また、データ不足の問題に対処するために、ラベル付き画像とラベルなし画像の両方を活用する、IFM からインスピレーションを得た半教師あり学習フレームワークも採用しています。私たちの方法は、劣化推定および UIE タスクにおける 5 つのテスト セットにわたる 8 つのベースラインよりも優れたパフォーマンス、または少なくとも同等のパフォーマンスを示します。これは、劣化をモデル化できるだけでなく、多様な水中シーンの特徴を学習できるためであると考えられます。
Underwater images normally suffer from degradation due to the transmission medium of water bodies. Both traditional prior-based approaches and deep learning-based methods have been used to address this problem. However, the inflexible assumption of the former often impairs their effectiveness in handling diverse underwater scenes, while the generalization of the latter to unseen images is usually weakened by insufficient data. In this study, we leverage both the physics-based underwater Image Formation Model (IFM) and deep learning techniques for Underwater Image Enhancement (UIE). To this end, we propose a novel Physics-Aware Dual-Stream Underwater Image Enhancement Network, i.e., PA-UIENet, which comprises a Transmission Estimation Steam (T-Stream) and an Ambient Light Estimation Stream (A-Stream). This network fulfills the UIE task by explicitly estimating the degradation parameters of the IFM. We also adopt an IFM-inspired semi-supervised learning framework, which exploits both the labeled and unlabeled images, to address the issue of insufficient data. Our method performs better than, or at least comparably to, eight baselines across five testing sets in the degradation estimation and UIE tasks. This should be due to the fact that it not only can model the degradation but also can learn the characteristics of diverse underwater scenes.
updated: Sun Apr 28 2024 09:29:33 GMT+0000 (UTC)
published: Fri Jul 21 2023 10:10:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト