このホワイト ペーパーでは、セマンティック境界条件付きバックボーン (SBCB) フレームワークを紹介します。これは、モデルにとらわれず、特に境界周辺でセグメンテーション パフォーマンスを向上させるシンプルで効果的なトレーニング フレームワークです。補助タスクとして境界を組み込むことによってセマンティック セグメンテーションを改善する最近の開発に動機付けられて、セマンティック境界検出 (SBD) を補助タスクとして使用するマルチタスク フレームワークを提案します。 SBCB フレームワークは、セマンティック セグメンテーションを補完する SBD タスクの性質を利用して、セグメンテーション ヘッドのバックボーンを改善します。モデルが初期段階で低レベルの機能を学習し、後の段階で高レベルの意味理解を学習するバックボーンからマルチスケール機能を利用する SBD ヘッドを適用します。このヘッドは、後の段階の特徴が分類に使用される一般的なセマンティック セグメンテーション アーキテクチャを完全に補完します。バックボーンを調整するだけで、推論中にパラメーターを追加せずにセマンティック セグメンテーション モデルを改善できます。広範な評価を通じて、都市景観データセットでさまざまな一般的なセグメンテーション ヘッドとバックボーンを 0.5% ~ 3.0% IoU 改善し、境界 Fscores で 1.6% ~ 4.1% を獲得することにより、SBCB フレームワークの有効性を示します。また、このフレームワークをカスタマイズされたバックボーンと新しいビジョン トランスフォーマー モデルに適用し、SBCB フレームワークの有効性を示します。
In this paper, we present the Semantic Boundary Conditioned Backbone (SBCB) framework, a simple yet effective training framework that is model-agnostic and boosts segmentation performance, especially around the boundaries. Motivated by the recent development in improving semantic segmentation by incorporating boundaries as auxiliary tasks, we propose a multi-task framework that uses semantic boundary detection (SBD) as an auxiliary task. The SBCB framework utilizes the nature of the SBD task, which is complementary to semantic segmentation, to improve the backbone of the segmentation head. We apply an SBD head that exploits the multi-scale features from the backbone, where the model learns low-level features in the earlier stages, and high-level semantic understanding in the later stages. This head perfectly complements the common semantic segmentation architectures where the features from the later stages are used for classification. We can improve semantic segmentation models without additional parameters during inference by only conditioning the backbone. Through extensive evaluations, we show the effectiveness of the SBCB framework by improving various popular segmentation heads and backbones by 0.5% ~ 3.0% IoU on the Cityscapes dataset and gains 1.6% ~ 4.1% in boundary Fscores. We also apply this framework on customized backbones and the emerging vision transformer models and show the effectiveness of the SBCB framework.