arXiv reaDer
Cooperative Semantic Segmentation and Image Restoration in Adverse Environmental Conditions
 ほとんどの最先端のセマンティックセグメンテーションアプローチは、良好な状態でのみ高い精度を達成します。実際には一般的であるがあまり議論されていない有害な環境条件では、その性能は著しく低下する可能性があります。既存の研究では、通常、信号の復元後、セグメンテーションの処理を別のポストプロセッシングステップとして悪条件でキャストし、セグメンテーションパフォーマンスを復元の品質に大きく依存させています。本稿では、セマンティックセグメンテーションと悪環境条件での画像復元に全体的な方法で取り組む新しい深層学習フレームワークを提案します。提案されたアプローチには2つのコンポーネントが含まれています。セマンティックにガイドされた適応。劣化した画像からのセマンティック情報を活用してセグメンテーションを改良します。また、Exemplar-Guided Synthesisは、劣化した見本をガイダンスとして指定したセマンティックラベルマップから画像を復元します。私たちの方法は、劣悪な環境条件における低レベルの修復と高レベルのセグメンテーションの相補性と相互依存性を協力的に活用します。さまざまなデータセットに関する広範な実験により、このアプローチが劣化キューを使用したセマンティックセグメンテーションの精度を向上させるだけでなく、セマンティックガイダンスを使用した画像復元の知覚品質と構造的類似性を高めることができることが実証されています。
Most state-of-the-art semantic segmentation approaches only achieve high accuracy in good conditions. In practically-common but less-discussed adverse environmental conditions, their performance can decrease enormously. Existing studies usually cast the handling of segmentation in adverse conditions as a separate post-processing step after signal restoration, making the segmentation performance largely depend on the quality of restoration. In this paper, we propose a novel deep-learning framework to tackle semantic segmentation and image restoration in adverse environmental conditions in a holistic manner. The proposed approach contains two components: Semantically-Guided Adaptation, which exploits semantic information from degraded images to refine the segmentation; and Exemplar-Guided Synthesis, which restores images from semantic label maps given degraded exemplars as the guidance. Our method cooperatively leverages the complementarity and interdependence of low-level restoration and high-level segmentation in adverse environmental conditions. Extensive experiments on various datasets demonstrate that our approach can not only improve the accuracy of semantic segmentation with degradation cues, but also boost the perceptual quality and structural similarity of image restoration with semantic guidance.
updated: Tue Mar 03 2020 00:45:01 GMT+0000 (UTC)
published: Sat Nov 02 2019 08:39:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト