arXiv reaDer
Semi-Supervised Semantic Segmentation via Adaptive Equalization Learning
データが限られており、不均衡でさえあるため、半教師ありセグメンテーションは、一部の特定のカテゴリ、たとえば、ロングテールのラベル分布を示すCityscapesデータセットのテールカテゴリでパフォーマンスが低下する傾向があります。既存のアプローチはほとんどすべてこの問題を無視し、カテゴリーを平等に扱います。一貫性の正則化や疑似ラベル付けなどの一般的なアプローチは、パフォーマンスの低いカテゴリの学習に悪影響を与える可能性があり、これらのカテゴリの予測または疑似ラベルは、ラベル付けされていないデータの学習を導くには不正確すぎる可能性があります。この論文では、この問題を調査し、適応等化学習(AEL)と呼ばれる半教師ありセマンティックセグメンテーションの新しいフレームワークを提案します。 AELは、トレーニング中にカテゴリごとのパフォーマンスを動的に追跡するための信頼バンクを使用して、パフォーマンスの良いカテゴリと悪いカテゴリのトレーニングのバランスを適応的に調整します。信頼バンクは、トレーニングをパフォーマンスの低いカテゴリに傾けるための指標として活用され、次の3つの戦略でインスタンス化されます。1)パフォーマンスの低いカテゴリがコピーまたはカットされる可能性を高める適応型コピーペーストおよびCutMixデータ拡張アプローチ。 2)パフォーマンスの低いカテゴリのピクセルのサンプリングを促進するための適応データサンプリングアプローチ。 3)疑似ラベリングによって発生するトレーニングノイズを軽減するための、シンプルでありながら効果的な再重み付け方法。実験的に、AELは、さまざまなデータパーティションプロトコルの下で、CityscapesおよびPascalVOCベンチマークで最先端の方法を大幅に上回っています。コードはで入手できます。
Due to the limited and even imbalanced data, semi-supervised semantic segmentation tends to have poor performance on some certain categories, e.g., tailed categories in Cityscapes dataset which exhibits a long-tailed label distribution. Existing approaches almost all neglect this problem, and treat categories equally. Some popular approaches such as consistency regularization or pseudo-labeling may even harm the learning of under-performing categories, that the predictions or pseudo labels of these categories could be too inaccurate to guide the learning on the unlabeled data. In this paper, we look into this problem, and propose a novel framework for semi-supervised semantic segmentation, named adaptive equalization learning (AEL). AEL adaptively balances the training of well and badly performed categories, with a confidence bank to dynamically track category-wise performance during training. The confidence bank is leveraged as an indicator to tilt training towards under-performing categories, instantiated in three strategies: 1) adaptive Copy-Paste and CutMix data augmentation approaches which give more chance for under-performing categories to be copied or cut; 2) an adaptive data sampling approach to encourage pixels from under-performing category to be sampled; 3) a simple yet effective re-weighting method to alleviate the training noise raised by pseudo-labeling. Experimentally, AEL outperforms the state-of-the-art methods by a large margin on the Cityscapes and Pascal VOC benchmarks under various data partition protocols. Code is available at
updated: Mon Oct 11 2021 17:59:55 GMT+0000 (UTC)
published: Mon Oct 11 2021 17:59:55 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト