粗くラベル付けされたセマンティックセグメンテーションアノテーションは簡単に取得できますが、エッジの詳細が失われ、背景ピクセルが導入されるリスクがあります。固有のノイズによって妨げられ、既存の粗い注釈は、モデルの事前トレーニングのボーナスとしてのみ使用されます。このホワイトペーパーでは、信頼性に基づく再重み付け戦略を使用して、それらの可能性を活用しようとします。拡張するために、損失ベースの再重み付け戦略は通常、2つの完全に異なるタイプのピクセル、つまり、ノイズのない注釈の貴重なピクセルとノイズの多い注釈の誤ったラベルのピクセルを識別するために高い損失値を取ります。これにより、貴重なピクセルのマイニングと誤ったラベルの付いたピクセルの抑制という2つのタスクを同時に実行することが不可能になります。ただし、予測の信頼性の助けを借りて、このジレンマをうまく解決し、1つの再重み付け戦略で2つのサブタスクを同時に実行します。さらに、この戦略をAdversarial Reweighting Module(ARM)に一般化し、その収束を厳密に証明します。標準データセットでの実験は、ARMが粗い注釈と細かい注釈の両方に一貫した改善をもたらすことができることを示しています。具体的には、DeepLabv3 +の上に構築されたARMは、粗くラベル付けされた都市景観のmIoUを大幅に改善し、ADE20KデータセットのmIoUを47.50に増やします。
Coarsely-labeled semantic segmentation annotations are easy to obtain, but therefore bear the risk of losing edge details and introducing background pixels. Impeded by the inherent noise, existing coarse annotations are only taken as a bonus for model pre-training. In this paper, we try to exploit their potentials with a confidence-based reweighting strategy. To expand, loss-based reweighting strategies usually take the high loss value to identify two completely different types of pixels, namely, valuable pixels in noise-free annotations and mislabeled pixels in noisy annotations. This makes it impossible to perform two tasks of mining valuable pixels and suppressing mislabeled pixels at the same time. However, with the help of the prediction confidence, we successfully solve this dilemma and simultaneously perform two subtasks with a single reweighting strategy. Furthermore, we generalize this strategy into an Adversarial Reweighting Module (ARM) and prove its convergence strictly. Experiments on standard datasets shows our ARM can bring consistent improvements for both coarse annotations and fine annotations. Specifically, built on top of DeepLabv3+, ARM improves the mIoU on the coarsely-labeled Cityscapes by a considerable margin and increases the mIoU on the ADE20K dataset to 47.50.