近年、セマンティックセグメンテーションの必要性が、いくつかの異なるアプリケーションと環境にわたって発生しています。ただし、アノテーションの費用と冗長性により、多くの場合、任意のドメインでトレーニングに使用できるラベルの量が制限されますが、単一のモデルがドメイン全体で適切に機能する場合、展開が容易になります。この論文では、普遍的な半教師付きセマンティックセグメンテーションという新しい問題を提起し、より低い注釈と展開コストの二重のニーズを満たすソリューションフレームワークを提案します。微調整、共同トレーニング、教師なしドメイン適応などの対比とは対照的に、ユニバーサル半教師ありセグメンテーションにより、すべてのドメインで(i)単一モデルの展開、(ii)ラベルなしデータの使用、(iii)パフォーマンスの向上が保証されます、(iv)必要なラベルはわずかで、(v)ラベルスペースは異なる場合があります。これに対処するために、教師あり損失と内部およびクロスドメインの教師なし損失を最小限に抑え、後者のピクセル認識エントロピー正則化に基づいた新しい特徴アライメント目標を導入します。異なる地域(ドイツ、イギリス、インド)および環境(屋外、屋内)でのセグメンテーションデータセットのいくつかの組み合わせで、他のアプローチよりも定量的な優位性を実証します。
In recent years, the need for semantic segmentation has arisen across several different applications and environments. However, the expense and redundancy of annotation often limits the quantity of labels available for training in any domain, while deployment is easier if a single model works well across domains. In this paper, we pose the novel problem of universal semi-supervised semantic segmentation and propose a solution framework, to meet the dual needs of lower annotation and deployment costs. In contrast to counterpoints such as fine tuning, joint training or unsupervised domain adaptation, universal semi-supervised segmentation ensures that across all domains: (i) a single model is deployed, (ii) unlabeled data is used, (iii) performance is improved, (iv) only a few labels are needed and (v) label spaces may differ. To address this, we minimize supervised as well as within and cross-domain unsupervised losses, introducing a novel feature alignment objective based on pixel-aware entropy regularization for the latter. We demonstrate quantitative advantages over other approaches on several combinations of segmentation datasets across different geographies (Germany, England, India) and environments (outdoors, indoors), as well as qualitative insights on the aligned representations.