セマンティックセグメンテーションアプローチは、通常、未知のオブジェクトを考慮せずに、既知のクラスの閉じた有限セットを使用して大規模データでトレーニングされます。特定のセーフティクリティカルなロボットアプリケーション、特に自動運転では、トレーニング時に不明なオブジェクトを含むすべてのオブジェクトをセグメント化することが重要です。自動運転における単眼ビデオシーケンスからのビデオクラスにとらわれないセグメンテーションのタスクを形式化して、未知のオブジェクトを説明します。ビデオクラスにとらわれないセグメンテーションは、オープンセットまたはモーションセグメンテーションの問題として定式化できます。両方の定式化について説明し、データセットを提供し、両方のトラックの異なるベースラインアプローチをベンチマークします。モーションセグメンテーショントラックでは、リアルタイムの共同パノプティコンとモーションインスタンスのセグメンテーションをベンチマークし、エゴフロー抑制の効果を評価します。オープンセットセグメンテーショントラックでは、外観とジオメトリを組み合わせたベースラインメソッドを評価して、セマンティッククラスごとにプロトタイプを学習します。次に、それを補助的な対照損失を使用して既知のオブジェクトと未知のオブジェクトの区別を改善するモデルと比較します。すべてのデータセットとモデルはhttps://msiam.github.io/vca/で公開されています。
Semantic segmentation approaches are typically trained on large-scale data with a closed finite set of known classes without considering unknown objects. In certain safety-critical robotics applications, especially autonomous driving, it is important to segment all objects, including those unknown at training time. We formalize the task of video class agnostic segmentation from monocular video sequences in autonomous driving to account for unknown objects. Video class agnostic segmentation can be formulated as an open-set or a motion segmentation problem. We discuss both formulations and provide datasets and benchmark different baseline approaches for both tracks. In the motion-segmentation track we benchmark real-time joint panoptic and motion instance segmentation, and evaluate the effect of ego-flow suppression. In the open-set segmentation track we evaluate baseline methods that combine appearance, and geometry to learn prototypes per semantic class. We then compare it to a model that uses an auxiliary contrastive loss to improve the discrimination between known and unknown objects. All datasets and models are publicly released at https://msiam.github.io/vca/.