従来のクローズセットセマンティックセグメンテーションネットワークでは、自動運転などのセーフティクリティカルなアプリケーションにとって重要な、分布外(OOD)オブジェクトを検出する機能が制限されています。注釈をほとんど付けずにこれらのOODオブジェクトを段階的に学習することは、深層学習モデルの知識ベースを拡大するための理想的な方法です。この論文では、2つのモジュールを含むオープンワールドセマンティックセグメンテーションシステムを提案します。(1)分布内オブジェクトとOODオブジェクトの両方を検出するためのオープンセットセマンティックセグメンテーションモジュール。 (2)それらのOODオブジェクトを既存の知識ベースに徐々に組み込むためのインクリメンタル数ショット学習モジュール。このオープンワールドのセマンティックセグメンテーションシステムは人間のように動作し、OODオブジェクトを識別し、対応する監視によって徐々にそれらを学習することができます。オープンセットのセマンティックセグメンテーションを実装するために、対照的なクラスタリングを備えたディープメトリックラーニングネットワーク(DMLNet)を採用しています。他のオープンセットセマンティックセグメンテーション方法と比較して、DMLNetは、追加のデータや生成モデルを使用せずに、3つの挑戦的なオープンセットセマンティックセグメンテーションデータセットで最先端のパフォーマンスを実現します。これに基づいて、OODオブジェクトの注釈を使用してDMLNetを段階的に改善するために、2つの増分数ショット学習方法がさらに提案されます。
Classical close-set semantic segmentation networks have limited ability to detect out-of-distribution (OOD) objects, which is important for safety-critical applications such as autonomous driving. Incrementally learning these OOD objects with few annotations is an ideal way to enlarge the knowledge base of the deep learning models. In this paper, we propose an open world semantic segmentation system that includes two modules: (1) an open-set semantic segmentation module to detect both in-distribution and OOD objects. (2) an incremental few-shot learning module to gradually incorporate those OOD objects into its existing knowledge base. This open world semantic segmentation system behaves like a human being, which is able to identify OOD objects and gradually learn them with corresponding supervision. We adopt the Deep Metric Learning Network (DMLNet) with contrastive clustering to implement open-set semantic segmentation. Compared to other open-set semantic segmentation methods, our DMLNet achieves state-of-the-art performance on three challenging open-set semantic segmentation datasets without using additional data or generative models. On this basis, two incremental few-shot learning methods are further proposed to progressively improve the DMLNet with the annotations of OOD objects.