arXiv reaDer
ドメインシフト下でのセマンティックセグメンテーションのための双曲線アクティブラーニング
Hyperbolic Active Learning for Semantic Segmentation under Domain Shift
ドメイン シフト下でのセマンティック セグメンテーション (SS) のタスクでは、画像領域と擬似ラベルに基づくアクティブ ラーニング (AL) 取得戦略が最先端 (SoA) です。領域内に多様な擬似ラベルが存在すると、異なるクラス間のピクセルが識別されます。これは、ラベル付けの効率的な能動学習データ取得戦略です。ただし、設計により、擬似ラベルのバリエーションはクラスの輪郭を選択することのみに制限されており、最終的な AL のパフォーマンスが制限されます。我々は、ポアンカレ双曲球モデルにおける SS の AL に初めてアプローチし、領域内のピクセル埋め込みの半径の変化を新しいデータ収集戦略として活用します。これは、階層を強制せずに訓練された双曲空間の新しい幾何学的特性に由来しており、これは実験的に証明されています。つまり、モデルは説明の困難さが増すクラスをより密な双曲領域、つまりポアンカレ ボール エッジに近い場所に配置するため、クラスは同等のクラス内半径分散を持つコンパクトな双曲領域にマッピングされます。ピクセル埋め込み半径の変化により、クラスの輪郭がよく識別されますが、クラス内固有の詳細もいくつか選択され、最終的なパフォーマンスが向上します。私たちが提案する HALO (双曲能動学習最適化) は、ラベルのごく一部 (つまり 1%) のみを使用するだけで、ドメイン シフト下の SS の AL において初めて教師あり学習のパフォーマンスを上回りました。広範な実験分析は、確立された 2 つのベンチマーク (GTAV → Cityscapes および SYNTHIA → Cityscapes) に基づいており、そこで新しい SoA を設定します。コードが公開されます。
For the task of semantic segmentation (SS) under domain shift, active learning (AL) acquisition strategies based on image regions and pseudo labels are state-of-the-art (SoA). The presence of diverse pseudo-labels within a region identifies pixels between different classes, which is a labeling efficient active learning data acquisition strategy. However, by design, pseudo-label variations are limited to only select the contours of classes, limiting the final AL performance. We approach AL for SS in the Poincaré hyperbolic ball model for the first time and leverage the variations of the radii of pixel embeddings within regions as a novel data acquisition strategy. This stems from a novel geometric property of a hyperbolic space trained without enforced hierarchies, which we experimentally prove. Namely, classes are mapped into compact hyperbolic areas with a comparable intra-class radii variance, as the model places classes of increasing explainable difficulty at denser hyperbolic areas, i.e. closer to the Poincaré ball edge. The variation of pixel embedding radii identifies well the class contours, but they also select a few intra-class peculiar details, which boosts the final performance. Our proposed HALO (Hyperbolic Active Learning Optimization) surpasses the supervised learning performance for the first time in AL for SS under domain shift, by only using a small portion of labels (i.e., 1%). The extensive experimental analysis is based on two established benchmarks, i.e. GTAV → Cityscapes and SYNTHIA → Cityscapes, where we set a new SoA. The code will be released.
updated: Mon Jun 26 2023 20:03:07 GMT+0000 (UTC)
published: Mon Jun 19 2023 22:07:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト