arXiv reaDer
MetaUE: 水中画像強調のためのモデルベースのメタ学習
MetaUE: Model-based Meta-learning for Underwater Image Enhancement
水中画像を復元する際の課題は、さまざまな劣化要因の存在と、グラウンド トゥルース画像の欠如です。合成水中画像ペアを使用してデータを不適切に観察するという問題を克服することができますが、オーバーフィッティングと強調劣化が発生する可能性があります。この論文では、さまざまな水中シナリオの下できれいな画像を復元するためのモデルベースの深層学習手法を提案します。これは、優れた解釈可能性と一般化能力を示します。より具体的には、多変数畳み込みニューラル ネットワーク モデルを構築して、クリーンな画像、背景光、透過マップをそれぞれ推定します。効率的な損失関数も、水中画像モデルに基づいて変数を密接に統合するように設計されています。メタ学習戦略は、さまざまな水中環境をカバーするためにさまざまな種類の劣化を含む、合成水中データセットで事前トレーニング済みのモデルを取得するために使用されます。次に、事前トレーニング済みのモデルを実際の水中データセットで微調整して、MetaUE と呼ばれる信頼性の高い水中画像強調モデルを取得します。数値実験は、事前トレーニング済みモデルが優れた汎化能力を備えていることを示しており、青、緑、黄色などのさまざまな水中減衰画像の色劣化を取り除くことができます。微調整により、モデルはさまざまな水中データセットに適応できるようになります。 、その強化結果は、最先端の水中画像復元方法よりも優れています。すべてのコードとデータは、https://github.com/Duanlab123/MetaUE で入手できます。
The challenges in recovering underwater images are the presence of diverse degradation factors and the lack of ground truth images. Although synthetic underwater image pairs can be used to overcome the problem of inadequately observing data, it may result in over-fitting and enhancement degradation. This paper proposes a model-based deep learning method for restoring clean images under various underwater scenarios, which exhibits good interpretability and generalization ability. More specifically, we build up a multi-variable convolutional neural network model to estimate the clean image, background light and transmission map, respectively. An efficient loss function is also designed to closely integrate the variables based on the underwater image model. The meta-learning strategy is used to obtain a pre-trained model on the synthetic underwater dataset, which contains different types of degradation to cover the various underwater environments. The pre-trained model is then fine-tuned on real underwater datasets to obtain a reliable underwater image enhancement model, called MetaUE. Numerical experiments demonstrate that the pre-trained model has good generalization ability, allowing it to remove the color degradation for various underwater attenuation images such as blue, green and yellow, etc. The fine-tuning makes the model able to adapt to different underwater datasets, the enhancement results of which outperform the state-of-the-art underwater image restoration methods. All our codes and data are available at https://github.com/Duanlab123/MetaUE.
updated: Sun Mar 12 2023 02:38:50 GMT+0000 (UTC)
published: Sun Mar 12 2023 02:38:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト