合成データから実際のデータへの知識の伝達は、セマンティックセグメンテーションなどのさまざまなコンピュータビジョンタスクにおけるデータ注釈の制約を緩和するために広く研究されてきました。ただし、大規模な合成データセットと効果的な転送方法がないため、2D画像とそれに対応する3D点群のセグメンテーションに焦点を当てた研究ははるかに遅れています。 SynLiDARを収集することでこの問題に対処します。これは、正確な幾何学的形状と包括的なセマンティッククラスを備えた点ごとに注釈が付けられた点群を含む大規模な合成LiDARデータセットです。 SynLiDARは、32のセマンティッククラスの190億ポイントを超える、豊富なシーンとレイアウトを備えた複数の仮想環境から収集されました。さらに、合成点群と実際の点群の間のギャップを効果的に緩和する新しい点群トランスレータであるPCTを設計します。具体的には、合成から実数へのギャップを外観コンポーネントとスパース性コンポーネントに分解し、それらを別々に処理することで、点群の変換が大幅に向上します。データ拡張、半教師ありドメイン適応、教師なしドメイン適応を含む3つの転移学習セットアップで広範な実験を実施しました。広範な実験により、SynLiDARは3D転送を研究するための高品質のデータソースを提供し、提案されたPCTは3つのセットアップにわたって一貫して優れた点群変換を実現することが示されています。 SynLiDARプロジェクトページ:https://github.com/xiaoaoran/SynLiDAR
Knowledge transfer from synthetic to real data has been widely studied to mitigate data annotation constraints in various computer vision tasks such as semantic segmentation. However, the study focused on 2D images and its counterpart in 3D point clouds segmentation lags far behind due to the lack of large-scale synthetic datasets and effective transfer methods. We address this issue by collecting SynLiDAR, a large-scale synthetic LiDAR dataset that contains point-wise annotated point clouds with accurate geometric shapes and comprehensive semantic classes. SynLiDAR was collected from multiple virtual environments with rich scenes and layouts which consists of over 19 billion points of 32 semantic classes. In addition, we design PCT, a novel point cloud translator that effectively mitigates the gap between synthetic and real point clouds. Specifically, we decompose the synthetic-to-real gap into an appearance component and a sparsity component and handle them separately which improves the point cloud translation greatly. We conducted extensive experiments over three transfer learning setups including data augmentation, semi-supervised domain adaptation and unsupervised domain adaptation. Extensive experiments show that SynLiDAR provides a high-quality data source for studying 3D transfer and the proposed PCT achieves superior point cloud translation consistently across the three setups. SynLiDAR project page: https://github.com/xiaoaoran/SynLiDAR