深層学習ベースの水中画像処理における主な課題の 1 つは、高品質のトレーニング データの利用が限られていることです。水中の画像はキャプチャが難しく、水中での歪みや色やコントラストの損失により、画質が低下することがよくあります。これにより、大規模で多様なデータセットで教師あり深層学習モデルをトレーニングすることが難しくなり、モデルのパフォーマンスが制限される可能性があります。この論文では、監視された水中画像強調の代替アプローチを探ります。具体的には、条件付き変分オートエンコーダー (cVAE) を使用して、確率的適応インスタンス正規化 (PAdaIN) と統計的に誘導されたマルチカラー スペース ストレッチを使用してディープ ラーニング モデルをトレーニングし、リアルな水中画像を生成する新しい教師なし水中画像強調フレームワークを提案します。結果として得られるフレームワークは、特徴抽出器としての U-Net と、UDnet と呼ばれる不確実性をエンコードするための PAdaIN で構成されます。 UDnet によって生成された画像の視覚的品質を向上させるために、入力画像との視覚的な一貫性を確保し、グラウンド トゥルース画像を使用したトレーニングの代替手段を提供する、統計的にガイドされたマルチカラー スペース ストレッチ モジュールを使用します。提案されたモデルは、手動による人間の注釈を必要とせず、限られた量のデータで学習でき、水中画像で最先端の結果を達成できます。提案されたフレームワークを、公開されている 8 つのデータセットで評価しました。結果は、提案されたフレームワークが、定量的および定性的な指標において、他の最先端のアプローチと比較して競争力のあるパフォーマンスをもたらすことを示しています。コードは https://github.com/alzayats/UDnet で入手できます。
One of the main challenges in deep learning-based underwater image enhancement is the limited availability of high-quality training data. Underwater images are difficult to capture and are often of poor quality due to the distortion and loss of colour and contrast in water. This makes it difficult to train supervised deep learning models on large and diverse datasets, which can limit the model's performance. In this paper, we explore an alternative approach to supervised underwater image enhancement. Specifically, we propose a novel unsupervised underwater image enhancement framework that employs a conditional variational autoencoder (cVAE) to train a deep learning model with probabilistic adaptive instance normalization (PAdaIN) and statistically guided multi-colour space stretch that produces realistic underwater images. The resulting framework is composed of a U-Net as a feature extractor and a PAdaIN to encode the uncertainty, which we call UDnet. To improve the visual quality of the images generated by UDnet, we use a statistically guided multi-colour space stretch module that ensures visual consistency with the input image and provides an alternative to training using a ground truth image. The proposed model does not need manual human annotation and can learn with a limited amount of data and achieves state-of-the-art results on underwater images. We evaluated our proposed framework on eight publicly-available datasets. The results show that our proposed framework yields competitive performance compared to other state-of-the-art approaches in quantitative as well as qualitative metrics. Code available at https://github.com/alzayats/UDnet .