セマンティック セグメンテーション モデルは、ピクセルを一連の既知の (「分布内」) ビジュアル クラスに分類します。オープン ワールドにデプロイされた場合、これらのモデルの信頼性は、分布内のピクセルを分類する能力だけでなく、分布外 (OoD) ピクセルを検出する能力にも依存します。歴史的に、これらのモデルの OoD 検出パフォーマンスが低いことが、OoD 視覚オブジェクトを含む合成トレーニング画像を使用したモデルの再トレーニングに基づく方法の設計を動機付けてきました。成功したものの、これらの再トレーニングされた方法には 2 つの問題があります。1) 分布内のセグメンテーションの精度が再トレーニング中に低下する可能性があること、および 2) OoD 検出の精度がトレーニング外の新しいコンテキスト (たとえば、国の周辺) にうまく一般化されないことです。セット (例: 都市周辺)。このホワイト ペーパーでは、これらの問題を次のように軽減します。 (ii)さまざまなコンテキスト間でOoDピクセルをロバストに検出するようにRPLを強制する、新しいコンテキストロバスト対比学習(CoroCL)。私たちのアプローチは、Fishyscapes、Segment-Me-If-You-Can、および RoadAnomaly データセットの以前の最先端技術を約 10% FPR および 7% AuPRC 向上させます。コードは https://github.com/yyliu01/RPL で入手できます。
Semantic segmentation models classify pixels into a set of known (``in-distribution'') visual classes. When deployed in an open world, the reliability of these models depends on their ability not only to classify in-distribution pixels but also to detect out-of-distribution (OoD) pixels. Historically, the poor OoD detection performance of these models has motivated the design of methods based on model re-training using synthetic training images that include OoD visual objects. Although successful, these re-trained methods have two issues: 1) their in-distribution segmentation accuracy may drop during re-training, and 2) their OoD detection accuracy does not generalise well to new contexts (e.g., country surroundings) outside the training set (e.g., city surroundings). In this paper, we mitigate these issues with: (i) a new residual pattern learning (RPL) module that assists the segmentation model to detect OoD pixels without affecting the inlier segmentation performance; and (ii) a novel context-robust contrastive learning (CoroCL) that enforces RPL to robustly detect OoD pixels among various contexts. Our approach improves by around 10% FPR and 7% AuPRC the previous state-of-the-art in Fishyscapes, Segment-Me-If-You-Can, and RoadAnomaly datasets. Our code is available at: https://github.com/yyliu01/RPL.