合成 (ソース) データと実際のシーン (ターゲット) データの間の不一致を測定して軽減することは、ドメイン適応セマンティック セグメンテーションの中心的な問題です。最近の研究では、ソース ドメインに深さ情報を導入して、幾何学的および意味的な知識の伝達を強化していますが、2D 推定深さだけに基づいて、位置や形状などのオブジェクト固有の 3D 情報を抽出することはできません。この作業では、よりコンパクトな 3D 幾何学的点群表現を活用してドメイン ギャップを縮小する、新しい Geometry-Aware Network for Domain Adaptation (GANDA) を提案します。特に、最初にソースドメインからの補助的な深度監視を利用して、ターゲットドメインの深度予測を取得し、構造とテクスチャのもつれを解きます。深度推定を超えて、RGB-D 画像から生成された点群の 3D トポロジを明示的に利用して、ターゲット ドメインでの座標色のもつれの解消と疑似ラベルの改良を行います。さらに、ターゲットドメインの2D分類子を改善するために、ソースからターゲットへのドメイン不変の幾何学的適応を実行し、2Dセマンティックおよび3D幾何学的セグメンテーションの結果を2つのドメインに統合します。私たちの GANDA は、既存の UDA フレームワークのプラグアンドプレイであることに注意してください。定性的および定量的な結果は、GTA5->Cityscapes および SYNTHIA->Cityscapes で、モデルが最先端のモデルよりも優れていることを示しています。
Measuring and alleviating the discrepancies between the synthetic (source) and real scene (target) data is the core issue for domain adaptive semantic segmentation. Though recent works have introduced depth information in the source domain to reinforce the geometric and semantic knowledge transfer, they cannot extract the intrinsic 3D information of objects, including positions and shapes, merely based on 2D estimated depth. In this work, we propose a novel Geometry-Aware Network for Domain Adaptation (GANDA), leveraging more compact 3D geometric point cloud representations to shrink the domain gaps. In particular, we first utilize the auxiliary depth supervision from the source domain to obtain the depth prediction in the target domain to accomplish structure-texture disentanglement. Beyond depth estimation, we explicitly exploit 3D topology on the point clouds generated from RGB-D images for further coordinate-color disentanglement and pseudo-labels refinement in the target domain. Moreover, to improve the 2D classifier in the target domain, we perform domain-invariant geometric adaptation from source to target and unify the 2D semantic and 3D geometric segmentation results in two domains. Note that our GANDA is plug-and-play in any existing UDA framework. Qualitative and quantitative results demonstrate that our model outperforms state-of-the-arts on GTA5->Cityscapes and SYNTHIA->Cityscapes.