arXiv reaDer
MetaWeather: 劣化パターン マッチングによる数ショットの天候劣化画像の復元
MetaWeather: Few-Shot Weather-Degraded Image Restoration via Degradation Pattern Matching
現実世界の視覚タスクでは、雨、霧、雪、雨滴などの悪天候が撮影画像に現れることがよくあります。最近、画像に存在する複数の種類の悪天候の影響を除去することを目的として、天候劣化した画像を復元するためのいくつかの一般的な方法が提案されています。しかし、これらの手法は天候を離散的かつ相互に排他的な変数として考慮しているため、雨、霧、雨滴の同時発生など、トレーニング データの範囲を超えた予期せぬ気象条件を一般化することができません。この目的を達成するために、天候劣化画像復元モデルは、信頼性の高い最適なパフォーマンスを保証するために、現在の未知の気象条件に柔軟に適応できる必要があります。適応方法は、現実世界の適応のためのデータ不足にも対処できなければなりません。本稿では、任意の気象条件に対する数ショットの天候劣化画像復元手法である MetaWeather を提案します。このために、私たちは MetaWeather の中核部分である劣化パターン マッチング モジュール (DPMM) を考案しました。これは、新しい気象条件下で入力画像とサンプル画像の間の特徴を照合することによって、少数ショット サポート セットからの表現を活用します。さらに、MetaWeather アーキテクチャ上にエピソード的なメタ学習を使用してメタ知識を構築し、柔軟な適応性を提供します。メタテスト段階では、事前に構築された知識を保存し、過剰適合の問題を回避するために、パラメーター効率の高い微調整方法を採用します。 BID タスク II.A データセットの実験では、私たちの方法が最先端の画像復元方法と比較して PSNR と SSIM で最高のパフォーマンスを達成することが示されています。コードは (TBA) で入手できます。
Real-world vision tasks frequently suffer from the appearance of adverse weather conditions including rain, fog, snow, and raindrops in captured images. Recently, several generic methods for restoring weather-degraded images have been proposed, aiming to remove multiple types of adverse weather effects present in the images. However, these methods have considered weather as discrete and mutually exclusive variables, leading to failure in generalizing to unforeseen weather conditions beyond the scope of the training data, such as the co-occurrence of rain, fog, and raindrops. To this end, weather-degraded image restoration models should have flexible adaptability to the current unknown weather condition to ensure reliable and optimal performance. The adaptation method should also be able to cope with data scarcity for real-world adaptation. This paper proposes MetaWeather, a few-shot weather-degraded image restoration method for arbitrary weather conditions. For this, we devise the core piece of MetaWeather, coined Degradation Pattern Matching Module (DPMM), which leverages representations from a few-shot support set by matching features between input and sample images under new weather conditions. In addition, we build meta-knowledge with episodic meta-learning on top of our MetaWeather architecture to provide flexible adaptability. In the meta-testing phase, we adopt a parameter-efficient fine-tuning method to preserve the prebuilt knowledge and avoid the overfitting problem. Experiments on the BID Task II.A dataset show our method achieves the best performance on PSNR and SSIM compared to state-of-the-art image restoration methods. Code is available at (TBA).
updated: Tue Sep 05 2023 07:35:58 GMT+0000 (UTC)
published: Mon Aug 28 2023 06:25:40 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト