arXiv reaDer
メタ学習による単一画像のかすみ除去のための実領域での一般化に向けて
Towards Generalization on Real Domain for Single Image Dehazing via Meta-Learning
学習ベースの画像かすみ除去方法は、自律システムが信頼性を高めるのを支援するために不可欠です。合成ドメインと実際のドメインの間のドメイン ギャップにより、合成画像から学習された内部情報は通常、実際のドメインでは最適ではなく、dehaizing モデルのパフォーマンスが大幅に低下します。目に見えないいくつかのドメイン サンプルから内部情報を探索する機能によって駆動されるメタ学習は、ハイパーパラメータに敏感で時間がかかるテスト時間トレーニングを介してこの問題に対処するために一般的に採用されています。対照的に、メタ学習に基づくドメイン一般化フレームワークを提示して、テスト時のトレーニングなしで、実際のあいまいなドメインの代表的で識別可能な内部プロパティを掘り下げます。代表的なドメイン固有の情報を取得するために、適応ネットワークと距離認識アグリゲーターと呼ばれる 2 つのエンティティを、かすみ除去ネットワークに接続します。適応ネットワークは、いくつかのあいまいなサンプルからドメイン関連の情報を抽出し、それを特徴のコレクションにキャッシュするのに役立ちます。距離認識アグリゲーターは、生成された特徴を要約し、誤解を招く情報を除外して、より代表的な内部プロパティを取得しようとします。蒸留された内部情報の識別を強化するために、ドメイン関連の対照的な正則化と呼ばれる新しい損失関数を提示します。これにより、同じドメインから生成された内部機能がより類似し、多様なドメインから生成された内部機能がより明確になります。生成された代表的で識別可能な特徴は、特定のドメインの特定の強力な関数を回帰するために、かすみ除去ネットワークのいくつかの外部変数と見なされます。 RTTS や URHI などの実際のあいまいなデータセットでの広範な実験により、提案された方法が最先端の競合他社よりも優れた一般化能力を持っていることが検証されます。
Learning-based image dehazing methods are essential to assist autonomous systems in enhancing reliability. Due to the domain gap between synthetic and real domains, the internal information learned from synthesized images is usually sub-optimal in real domains, leading to severe performance drop of dehaizing models. Driven by the ability on exploring internal information from a few unseen-domain samples, meta-learning is commonly adopted to address this issue via test-time training, which is hyperparameter-sensitive and time-consuming. In contrast, we present a domain generalization framework based on meta-learning to dig out representative and discriminative internal properties of real hazy domains without test-time training. To obtain representative domain-specific information, we attach two entities termed adaptation network and distance-aware aggregator to our dehazing network. The adaptation network assists in distilling domain-relevant information from a few hazy samples and caching it into a collection of features. The distance-aware aggregator strives to summarize the generated features and filter out misleading information for more representative internal properties. To enhance the discrimination of distilled internal information, we present a novel loss function called domain-relevant contrastive regularization, which encourages the internal features generated from the same domain more similar and that from diverse domains more distinct. The generated representative and discriminative features are regarded as some external variables of our dehazing network to regress a particular and powerful function for a given domain. The extensive experiments on real hazy datasets, such as RTTS and URHI, validate that our proposed method has superior generalization ability than the state-of-the-art competitors.
updated: Mon Nov 14 2022 07:04:00 GMT+0000 (UTC)
published: Mon Nov 14 2022 07:04:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト