arXiv reaDer
An EM Framework for Online Incremental Learning of Semantic Segmentation
セマンティックセグメンテーションのインクリメンタル学習は、オープンワールド環境での視覚シーン解釈の有望な戦略として浮上しています。ただし、主にその継続的に進化するセマンティックラベル空間、部分的なピクセル単位のグラウンドトゥルースアノテーション、および制約されたデータ可用性のために、セグメンテーションタスクのためにオンラインで新しいクラスを取得することは依然として困難です。これに対処するために、新しいクラスのみのピクセル注釈付きのストリーミング入力データを使用して、壊滅的な忘却なしにディープセグメンテーションモデルを迅速に適応できるインクリメンタル学習戦略を提案します。この目的のために、期待値最大化(EM)フレームワークに基づく統一学習戦略を開発します。これは、欠落しているラベルを埋める反復的な再ラベル付け戦略と、リハーサルベースの増分学習ステップを統合して、安定性と可塑性のバランスを取ります。モデル。さらに、EMアルゴリズムは、適応サンプリング法を採用して有益なトレーニングデータを選択し、インクリメンタルモデル更新でクラスバランシングトレーニング戦略を採用することで、モデル学習の効率を向上させます。 PASCAL VOC 2012およびADE20Kデータセットでのアプローチを検証し、その結果は、既存のインクリメンタルメソッドよりも優れたパフォーマンスを示しています。
Incremental learning of semantic segmentation has emerged as a promising strategy for visual scene interpretation in the open- world setting. However, it remains challenging to acquire novel classes in an online fashion for the segmentation task, mainly due to its continuously-evolving semantic label space, partial pixelwise ground-truth annotations, and constrained data availability. To ad- dress this, we propose an incremental learning strategy that can fast adapt deep segmentation models without catastrophic forgetting, using a streaming input data with pixel annotations on the novel classes only. To this end, we develop a uni ed learning strategy based on the Expectation-Maximization (EM) framework, which integrates an iterative relabeling strategy that lls in the missing labels and a rehearsal-based incremental learning step that balances the stability-plasticity of the model. Moreover, our EM algorithm adopts an adaptive sampling method to select informative train- ing data and a class-balancing training strategy in the incremental model updates, both improving the e cacy of model learning. We validate our approach on the PASCAL VOC 2012 and ADE20K datasets, and the results demonstrate its superior performance over the existing incremental methods.
updated: Sun Aug 08 2021 11:30:09 GMT+0000 (UTC)
published: Sun Aug 08 2021 11:30:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト