arXiv reaDer
PUGAN: デュアルディスクリミネーターを備えた GAN を使用した物理モデルに基づく水中画像強化
PUGAN: Physical Model-Guided Underwater Image Enhancement Using GAN with Dual-Discriminators
水媒体による光の吸収と散乱により、水中画像は通常、低コントラスト、色の歪み、細部のぼやけなどの劣化の問題を抱えており、下流の水中理解作業の困難さをさらに悪化させます。そのため、鮮明で視覚的に快適な画像をいかに取得するかが人々の共通の関心事となっており、時代の要請に応じて水中画像拡張(UIE)という課題も浮上しています。既存の UIE 手法の中で、敵対的生成ネットワーク (GAN) ベースの手法は視覚的な美しさの面で優れた性能を発揮しますが、物理モデルベースの手法はシーンへの適応性が優れています。上記の 2 種類のモデルの利点を継承して、本稿では PUGAN と呼ばれる、UIE 用の物理モデル誘導 GAN モデルを提案します。ネットワーク全体が GAN アーキテクチャの下にあります。一方では、物理モデル反転のパラメータを学習するためにパラメータ推定サブネットワーク (Par サブネット) を設計し、生成された色強調画像を Two-Stream Interaction Enhancement サブネットワーク (TSIE サブネット) の補助情報として使用します。 。一方、シーンの劣化を量子化するためにTSIEサブネットの劣化量子化(DQ)モジュールを設計し、それによって主要領域の強化強化を実現します。一方、スタイルコンテンツの敵対的制約に合わせてデュアルディスクリミネーターを設計し、結果の信頼性と視覚的な美しさを促進します。 3 つのベンチマーク データセットに対する広範な実験により、当社の PUGAN が定性的および定量的メトリクスの両方で最先端の手法よりも優れていることが実証されました。
Due to the light absorption and scattering induced by the water medium, underwater images usually suffer from some degradation problems, such as low contrast, color distortion, and blurring details, which aggravate the difficulty of downstream underwater understanding tasks. Therefore, how to obtain clear and visually pleasant images has become a common concern of people, and the task of underwater image enhancement (UIE) has also emerged as the times require. Among existing UIE methods, Generative Adversarial Networks (GANs) based methods perform well in visual aesthetics, while the physical model-based methods have better scene adaptability. Inheriting the advantages of the above two types of models, we propose a physical model-guided GAN model for UIE in this paper, referred to as PUGAN. The entire network is under the GAN architecture. On the one hand, we design a Parameters Estimation subnetwork (Par-subnet) to learn the parameters for physical model inversion, and use the generated color enhancement image as auxiliary information for the Two-Stream Interaction Enhancement sub-network (TSIE-subnet). Meanwhile, we design a Degradation Quantization (DQ) module in TSIE-subnet to quantize scene degradation, thereby achieving reinforcing enhancement of key regions. On the other hand, we design the Dual-Discriminators for the style-content adversarial constraint, promoting the authenticity and visual aesthetics of the results. Extensive experiments on three benchmark datasets demonstrate that our PUGAN outperforms state-of-the-art methods in both qualitative and quantitative metrics.
updated: Thu Jun 15 2023 07:41:12 GMT+0000 (UTC)
published: Thu Jun 15 2023 07:41:12 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト