最先端の 3D セマンティック セグメンテーション モデルは、市販の公開ベンチマークでトレーニングされていますが、これらの十分にトレーニングされたモデルが新しいドメインに展開されると、必然的に認識精度の低下という課題に直面します。このホワイト ペーパーでは、Unified Domain Adaptive 3D セマンティック セグメンテーション パイプライン (UniDA3D) を導入して、弱い汎化能力を強化し、ドメイン間の点分布のギャップを埋めます。単一の適応タスクのみに焦点を当てた以前の研究とは異なり、UniDA3D は、ソースとターゲットの両方のドメインから最大限に有益なサブセットを選択する、統一されたソースとターゲットのアクティブ サンプリング戦略を設計することにより、3D セグメンテーション フィールドで複数の適応タスクに取り組むことができます。効果的なモデル適応のために。さらに、マルチモーダル 2D-3D データセットの台頭の恩恵を受けて、UniDA3D は、達成するために画像と点の特徴の代表的なペアを抽出できるクロスモダリティ特徴相互作用モジュールを開発することにより、マルチモーダル サンプリング戦略を達成する可能性を調査します。安全なモデル適応のための双方向の画像ポイント機能の相互作用。実験的に、UniDA3D は、1) 教師なしドメイン適応、2) 教師なし少数ショット ドメイン適応など、多くの適応タスクで効果的であることが検証されています。 3) 積極的なドメイン適応。彼らの結果は、UniDA3D を市販の 3D セグメンテーション ベースラインと簡単に結合することで、これらのベースラインのドメイン一般化能力を強化できることを示しています。
State-of-the-art 3D semantic segmentation models are trained on off-the-shelf public benchmarks, but they will inevitably face the challenge of recognition accuracy drop when these well-trained models are deployed to a new domain. In this paper, we introduce a Unified Domain Adaptive 3D semantic segmentation pipeline (UniDA3D) to enhance the weak generalization ability, and bridge the point distribution gap between domains. Different from previous studies that only focus on a single adaptation task, UniDA3D can tackle several adaptation tasks in 3D segmentation field, by designing a unified source-and-target active sampling strategy, which selects a maximally-informative subset from both source and target domains for effective model adaptation. Besides, benefiting from the rise of multi-modal 2D-3D datasets, UniDA3D investigates the possibility of achieving a multi-modal sampling strategy, by developing a cross-modality feature interaction module that can extract a representative pair of image and point features to achieve a bi-directional image-point feature interaction for safe model adaptation. Experimentally, UniDA3D is verified to be effective in many adaptation tasks including: 1) unsupervised domain adaptation, 2) unsupervised few-shot domain adaptation; 3) active domain adaptation. Their results demonstrate that, by easily coupling UniDA3D with off-the-shelf 3D segmentation baselines, domain generalization ability of these baselines can be enhanced.