arXiv reaDer
ドメインの一般化されたセマンティック セグメンテーションのためのデュアル ステージ スタイライゼーション変調
Dual Stage Stylization Modulation for Domain Generalized Semantic Segmentation
実際のアプリケーションでは、深いモデルをトレーニングするために十分なラベル付きデータを取得することは、多くの場合困難です。この問題に対処するために、単一ソース ドメインの一般化されたセマンティック セグメンテーションのための新しいソリューションを提案します。最近のアプローチでは、幻覚技術を使用したデータ多様性の強化が検討されています。ただし、過度の幻覚は、特に不均衡なデータセットの場合、パフォーマンスを低下させる可能性があります。私たちの実験で示されているように、少数派のクラスは多数派のクラスと比較して、幻覚によるパフォーマンスの低下の影響を受けやすくなっています。この課題に取り組むために、Adversarial Semantic Hallucination+ (ASH+) フレームワーク内にデュアルステージの特徴変換 (dFT) レイヤーを導入します。 ASH+ フレームワークは、幻覚の強度を 2 段階で操作します。各ピクセルの意味情報を活用することで、私たちのアプローチはピクセルごとの幻覚の強度を適応的に調整し、幻覚をきめ細かく制御できます。公開されているセマンティック セグメンテーション ベンチマーク データセット (Cityscapes および SYNTHIA) に対する包括的な実験を通じて、提案した手法の有効性を検証します。定量的および定性的な比較は、私たちのアプローチが都市景観データセットの最先端の手法と競合し、SYNTHIA データセットの既存のソリューションを上回っていることを示しています。私たちのフレームワークのコードは、研究コミュニティがすぐに利用できるようになります。
Obtaining sufficient labeled data for training deep models is often challenging in real-life applications. To address this issue, we propose a novel solution for single-source domain generalized semantic segmentation. Recent approaches have explored data diversity enhancement using hallucination techniques. However, excessive hallucination can degrade performance, particularly for imbalanced datasets. As shown in our experiments, minority classes are more susceptible to performance reduction due to hallucination compared to majority classes. To tackle this challenge, we introduce a dual-stage Feature Transform (dFT) layer within the Adversarial Semantic Hallucination+ (ASH+) framework. The ASH+ framework performs a dual-stage manipulation of hallucination strength. By leveraging semantic information for each pixel, our approach adaptively adjusts the pixel-wise hallucination strength, thus providing fine-grained control over hallucination. We validate the effectiveness of our proposed method through comprehensive experiments on publicly available semantic segmentation benchmark datasets (Cityscapes and SYNTHIA). Quantitative and qualitative comparisons demonstrate that our approach is competitive with state-of-the-art methods for the Cityscapes dataset and surpasses existing solutions for the SYNTHIA dataset. Code for our framework will be made readily available to the research community.
updated: Sun Jul 30 2023 01:25:39 GMT+0000 (UTC)
published: Tue Apr 18 2023 23:54:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト