arXiv reaDer
自己教師ありソース ドメイン プロジェクションとマルチレベル対照学習による一般化セマンティック セグメンテーション
Generalized Semantic Segmentation by Self-Supervised Source Domain Projection and Multi-Level Contrastive Learning
ソース ドメインでトレーニングされたディープ ネットワークは、目に見えないターゲット ドメイン データでテストすると、パフォーマンスの低下を示します。モデルの汎化能力を強化するために、ほとんどの既存の領域汎化手法は、領域に依存する特徴を抑制することによって領域不変の特徴を学習します。それらとは異なり、一般化されたセマンティック セグメンテーションのためのドメイン プロジェクションとコントラスト学習 (DPCL) アプローチを提案します。これには、自己教師ありソース ドメイン プロジェクション (SSDP) とマルチレベル コントラスティブ学習 (MLCL) の 2 つのモジュールが含まれます。 SSDP はデータをソース ドメインに射影することでドメイン ギャップを減らすことを目的としていますが、MLCL は射影されたデータの識別的で一般化可能な特徴を学習する学習スキームです。テスト時には、まず SSDP によってターゲット データを投影してドメイン シフトを緩和し、MLCL に基づいて学習したセグメンテーション ネットワークによってセグメンテーション結果を生成します。テスト時に、提案されたピクセル間のコントラストの損失を最小限に抑えることで、投影されたデータを更新して、より良い結果を得ることができます。セマンティックセグメンテーションの広範な実験は、ベンチマークデータセットに対する私たちの方法の好ましい一般化機能を示しています。
Deep networks trained on the source domain show degraded performance when tested on unseen target domain data. To enhance the model's generalization ability, most existing domain generalization methods learn domain invariant features by suppressing domain sensitive features. Different from them, we propose a Domain Projection and Contrastive Learning (DPCL) approach for generalized semantic segmentation, which includes two modules: Self-supervised Source Domain Projection (SSDP) and Multi-level Contrastive Learning (MLCL). SSDP aims to reduce domain gap by projecting data to the source domain, while MLCL is a learning scheme to learn discriminative and generalizable features on the projected data. During test time, we first project the target data by SSDP to mitigate domain shift, then generate the segmentation results by the learned segmentation network based on MLCL. At test time, we can update the projected data by minimizing our proposed pixel-to-pixel contrastive loss to obtain better results. Extensive experiments for semantic segmentation demonstrate the favorable generalization capability of our method on benchmark datasets.
updated: Fri Mar 03 2023 13:07:14 GMT+0000 (UTC)
published: Fri Mar 03 2023 13:07:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト