この論文は、濃い霧のシーンのためのセマンティックセグメンテーションのドメイン適応のための新しいアプローチであるFogAdaptを提示します。セマンティックセグメンテーションのドメインシフトを減らすために重要な研究が向けられてきましたが、悪天候のシーンへの適応は未解決の問題のままです。霧、スモッグ、ヘイズなどの気象条件によるシーンの可視性の大きな変動は、ドメインシフトを悪化させるため、このようなシナリオでの教師なし適応は困難になります。霧のシーンのセグメンテーションにおけるドメインシフトを最小限に抑えるために、自己エントロピーとマルチスケール情報拡張自己監視ドメイン適応法(FogAdapt)を提案します。霧密度の増加がセグメンテーション確率の高い自己エントロピーをもたらすという経験的証拠に裏付けられて、適応方法を導くために自己エントロピーベースの損失関数を導入します。さらに、さまざまな画像スケールで得られた推論が組み合わされ、不確実性によって重み付けされて、ターゲットドメインのスケール不変の疑似ラベルが生成されます。これらのスケール不変の疑似ラベルは、可視性とスケールの変化に対して堅牢です。提案されたモデルを、実際の晴天シーンから実際の霧のシーンへの適応、および合成の非霧の画像から実際の霧のシーンへの適応シナリオで評価します。私たちの実験は、FogAdaptが霧の画像のセマンティックセグメンテーションにおいて現在の最先端技術を大幅に上回っていることを示しています。具体的には、最先端の(SOTA)手法と比較した標準設定を考慮すると、FogAdaptは、Cityscapesから霧のチューリッヒ。
This paper presents FogAdapt, a novel approach for domain adaptation of semantic segmentation for dense foggy scenes. Although significant research has been directed to reduce the domain shift in semantic segmentation, adaptation to scenes with adverse weather conditions remains an open question. Large variations in the visibility of the scene due to weather conditions, such as fog, smog, and haze, exacerbate the domain shift, thus making unsupervised adaptation in such scenarios challenging. We propose a self-entropy and multi-scale information augmented self-supervised domain adaptation method (FogAdapt) to minimize the domain shift in foggy scenes segmentation. Supported by the empirical evidence that an increase in fog density results in high self-entropy for segmentation probabilities, we introduce a self-entropy based loss function to guide the adaptation method. Furthermore, inferences obtained at different image scales are combined and weighted by the uncertainty to generate scale-invariant pseudo-labels for the target domain. These scale-invariant pseudo-labels are robust to visibility and scale variations. We evaluate the proposed model on real clear-weather scenes to real foggy scenes adaptation and synthetic non-foggy images to real foggy scenes adaptation scenarios. Our experiments demonstrate that FogAdapt significantly outperforms the current state-of-the-art in semantic segmentation of foggy images. Specifically, by considering the standard settings compared to state-of-the-art (SOTA) methods, FogAdapt gains 3.8% on Foggy Zurich, 6.0% on Foggy Driving-dense, and 3.6% on Foggy Driving in mIoU when adapted from Cityscapes to Foggy Zurich.