セルフトレーニングにより、ドメイン適応セマンティックセグメンテーションが大幅に促進されました。これにより、ターゲットドメインで疑似ラベルが繰り返し生成され、ネットワークが再トレーニングされます。ただし、現実的なセグメンテーションデータセットは非常に不均衡であるため、ターゲットの疑似ラベルは通常、多数派クラスにバイアスされ、基本的にノイズが多く、エラーが発生しやすく、最適ではないモデルになります。この問題に対処するために、セグメンテーションのパフォーマンスを最大化しながら、ラベル付けする画像領域の小さなパーティションを自動的にクエリすることを目的とした、ドメインシフトの下でのセマンティックセグメンテーションのための領域ベースのアクティブラーニングアプローチを提案します。私たちのアルゴリズムである領域の不純物と予測の不確実性を介したアクティブラーニング(AL-RIPU)は、予測の信頼性とともに画像領域の空間的隣接性を特徴付ける新しい取得戦略を導入します。提案された地域ベースの選択戦略は、画像ベースまたはポイントベースの対応物よりも限られた予算をより効率的に使用することを示します。一方、ソース画像上のピクセルとその最近傍の間でローカル予測の一貫性を強制します。さらに、ターゲットドメインでの識別表現学習を強化するために、負の学習損失を開発します。広範な実験により、私たちの方法は、監視ありのパフォーマンスにほぼ到達するために必要な注釈がごくわずかであり、最先端の方法を大幅に上回っていることを示しています。
Self-training has greatly facilitated domain adaptive semantic segmentation, which iteratively generates pseudo labels on the target domain and retrains the network. However, since the realistic segmentation datasets are highly imbalanced, target pseudo labels are typically biased to the majority classes and basically noisy, leading to an error-prone and sub-optimal model. To address this issue, we propose a region-based active learning approach for semantic segmentation under a domain shift, aiming to automatically query a small partition of image regions to be labeled while maximizing segmentation performance. Our algorithm, Active Learning via Region Impurity and Prediction Uncertainty (AL-RIPU), introduces a novel acquisition strategy characterizing the spatial adjacency of image regions along with the prediction confidence. We show that the proposed region-based selection strategy makes more efficient use of a limited budget than image-based or point-based counterparts. Meanwhile, we enforce local prediction consistency between a pixel and its nearest neighbor on a source image. Further, we develop a negative learning loss to enhance the discriminative representation learning on the target domain. Extensive experiments demonstrate that our method only requires very few annotations to almost reach the supervised performance and substantially outperforms state-of-the-art methods.