arXiv reaDer
3D 点群ドメイン適応のための対照学習と最適なトランスポートの相乗効果
Synergizing Contrastive Learning and Optimal Transport for 3D Point Cloud Domain Adaptation
最近、3D 点群における教師なしドメイン適応 (UDA) の基本的な問題は、いくつか例を挙げると、ロボット工学、仮想現実、シーン理解などのさまざまなアプリケーションによって引き起こされています。点群データの取得手順は、類似したクラスと異なるクラスの両方の間で、重大な領域の不一致と幾何学的変動として現れます。画像用に開発された標準的なドメイン適応方法は、その複雑な幾何学的性質のため、点群データに直接変換されません。この課題に対処するために、私たちはマルチモダリティとディストリビューション間の調整というアイデアを活用します。私たちは、両方のドメインで個別にクラス分離を改善するためにマルチモーダル対照学習の恩恵を受ける点群分類用の新しい UDA アーキテクチャを提案します。さらに、最適トランスポート (OT) の使用は、ソースとターゲットのデータ分布を共同で学習して、ドメイン間のシフトを削減し、より適切な調整を提供することを目的としています。私たちは、PointDA-10 と GraspNetPC-10 について包括的な実証研究を実施し、この方法が GraspNetPC-10 で最先端のパフォーマンス (約 4 ~ 12% のマージン) を達成し、PointDA-10 で最高の平均パフォーマンスを達成することを示します。当社のアブレーション研究と決定境界分析も、当社の対照学習モジュールと OT アライメントの重要性を検証します。
Recently, the fundamental problem of unsupervised domain adaptation (UDA) on 3D point clouds has been motivated by a wide variety of applications in robotics, virtual reality, and scene understanding, to name a few. The point cloud data acquisition procedures manifest themselves as significant domain discrepancies and geometric variations among both similar and dissimilar classes. The standard domain adaptation methods developed for images do not directly translate to point cloud data because of their complex geometric nature. To address this challenge, we leverage the idea of multimodality and alignment between distributions. We propose a new UDA architecture for point cloud classification that benefits from multimodal contrastive learning to get better class separation in both domains individually. Further, the use of optimal transport (OT) aims at learning source and target data distributions jointly to reduce the cross-domain shift and provide a better alignment. We conduct a comprehensive empirical study on PointDA-10 and GraspNetPC-10 and show that our method achieves state-of-the-art performance on GraspNetPC-10 (with approx 4-12% margin) and best average performance on PointDA-10. Our ablation studies and decision boundary analysis also validate the significance of our contrastive learning module and OT alignment.
updated: Sun Aug 27 2023 15:03:10 GMT+0000 (UTC)
published: Sun Aug 27 2023 15:03:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト