arXiv reaDer
MLSL: Multi-Level Self-Supervised Learning for Domain Adaptation with Spatially Independent and Semantically Consistent Labeling
  畳み込みニューラルネットワークに基づく強力な階層表現モデルが採用されている場合でも、最近の深層セマンティックセグメンテーションアルゴリズムのほとんどは、大きな一般化エラーに悩まされています。これは、トレーニングデータとテストドメインデータセットの限られたトレーニングデータと大きな分布ギャップに起因する可能性があります。本論文では、セマンティックセグメンテーションのドメイン適応のためのマルチレベル自己監視学習モデルを提案します。オブジェクト(およびコンテキストに与えられたもののほとんど)がその場所に関係なく一貫してラベル付けされるべきであるという考えを利用して、ベースモデルを使用して複数のサブイメージをセグメント化し、集計を設計することにより、空間的に独立した意味的に一貫した(SISC)疑似ラベルを生成します戦略。画像レベルの疑似弱ラベルPWLは、潜在空間レベルでソースとドメインのグローバルコンテキスト類似性をキャプチャすることにより、ドメイン適応をガイドするために計算されます。したがって、画像の他の部分と比較して、ドメインカテゴリ(たとえば小さなオブジェクト)に属するピクセルが非常に少ない場合でも、潜在空間が表現を学習するのに役立ちます。当社のマルチレベルの自己教師付き学習(MLSL)は、既存の最先端(自己学習または敵対学習)アルゴリズムよりも優れています。具体的には、すべての設定を同様に保ち、MLSLを使用すると、既存の最先端の方法と比較して、GTA-VからCityscapesへの適応で5:1%、SYNTHIA to Cityscapesの適応で4:3%のmIoUゲインが得られます。
Most of the recent Deep Semantic Segmentation algorithms suffer from large generalization errors, even when powerful hierarchical representation models based on convolutional neural networks have been employed. This could be attributed to limited training data and large distribution gap in train and test domain datasets. In this paper, we propose a multi-level self-supervised learning model for domain adaptation of semantic segmentation. Exploiting the idea that an object (and most of the stuff given context) should be labeled consistently regardless of its location, we generate spatially independent and semantically consistent (SISC) pseudo-labels by segmenting multiple sub-images using base model and designing an aggregation strategy. Image level pseudo weak-labels, PWL, are computed to guide domain adaptation by capturing global context similarity in source and domain at latent space level. Thus helping latent space learn the representation even when there are very few pixels belonging to the domain category (small object for example) compared to rest of the image. Our multi-level Self-supervised learning (MLSL) outperforms existing state-of art (self or adversarial learning) algorithms. Specifically, keeping all setting similar and employing MLSL we obtain an mIoU gain of 5:1% on GTA-V to Cityscapes adaptation and 4:3% on SYNTHIA to Cityscapes adaptation compared to existing state-of-art method.
updated: Mon Sep 30 2019 15:16:03 GMT+0000 (UTC)
published: Mon Sep 30 2019 15:16:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト