arXiv reaDer
SGUIE-Net:マルチスケール知覚によるセマンティックアテンションガイド付き水中画像エンハンスメント
SGUIE-Net: Semantic Attention Guided Underwater Image Enhancement with Multi-Scale Perception
波長に依存する光の減衰、屈折、散乱により、水中画像は通常、色の歪みや細部のぼやけに悩まされます。ただし、参照として歪みのない画像を使用した水中画像のペアの数が限られているため、さまざまな劣化タイプのディープエンハンスメントモデルをトレーニングすることは非常に困難です。データ駆動型アプローチのパフォーマンスを向上させるには、限られたトレーニングサンプルリソースからより豊富な教師あり情報をマイニングする、より効果的な学習メカニズムを確立することが不可欠です。本論文では、SGUIE-Netと呼ばれる新しい水中画像強調ネットワークを提案します。このネットワークでは、共通の意味領域を共有するさまざまな画像にわたる高レベルのガイダンスとして意味情報を紹介します。したがって、複数のスケールからの異なるセマンティック領域の劣化を認識し、元のスケールから抽出されたグローバルな注意特徴にフィードバックするためのセマンティック領域ごとの拡張モジュールを提案します。この戦略は、差別化された拡張のためのセマンティック情報のガイダンスのおかげで、さまざまなセマンティックオブジェクトに対して堅牢で視覚的に快適な拡張を実現するのに役立ちます。さらに重要なことに、トレーニングサンプルの分布では一般的ではない劣化タイプの場合、ガイダンスは、セマンティックの関連性に従って、すでに十分に学習されたタイプとそれらを接続します。公開されているデータセットと提案されたデータセットに関する広範な実験により、SGUIE-Netの優れたパフォーマンスが実証されました。コードと提案されたデータセットは、https://trentqq.github.io/SGUIE-Net.htmlで入手できます。
Due to the wavelength-dependent light attenuation, refraction and scattering, underwater images usually suffer from color distortion and blurred details. However, due to the limited number of paired underwater images with undistorted images as reference, training deep enhancement models for diverse degradation types is quite difficult. To boost the performance of data-driven approaches, it is essential to establish more effective learning mechanisms that mine richer supervised information from limited training sample resources. In this paper, we propose a novel underwater image enhancement network, called SGUIE-Net, in which we introduce semantic information as high-level guidance across different images that share common semantic regions. Accordingly, we propose semantic region-wise enhancement module to perceive the degradation of different semantic regions from multiple scales and feed it back to the global attention features extracted from its original scale. This strategy helps to achieve robust and visually pleasant enhancements to different semantic objects, which should thanks to the guidance of semantic information for differentiated enhancement. More importantly, for those degradation types that are not common in the training sample distribution, the guidance connects them with the already well-learned types according to their semantic relevance. Extensive experiments on the publicly available datasets and our proposed dataset demonstrated the impressive performance of SGUIE-Net. The code and proposed dataset are available at: https://trentqq.github.io/SGUIE-Net.html
updated: Sat Jan 08 2022 14:03:24 GMT+0000 (UTC)
published: Sat Jan 08 2022 14:03:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト