合成データから実際のデータへの転移学習は、さまざまなコンピュータービジョンタスクにおけるデータ注釈の制約を緩和する効果的な方法であることが証明されています。ただし、開発は2D画像に焦点を合わせていましたが、大規模で高品質の合成点群データと効果的な転送方法がないため、3D点群には大きく遅れをとっています。この問題に対処するために、正確な幾何学的形状と包括的なセマンティッククラスを備えた大規模なポイントごとの注釈付きポイントクラウドを含む合成LiDARポイントクラウドデータセットであるSynLiDARを収集し、絞り込みを目的としたポイントクラウド変換ネットワークであるPCT-Netを設計します。実世界の点群データとのギャップ。 SynLiDARの場合、注釈付きのLiDARポイントを自動的に生成できる、豊富なシーンタイプとレイアウトを備えた複数のリアルな仮想環境を構築するグラフィックツールと専門家を活用します。さらに、PCT-Netは、合成と実際のギャップを外観コンポーネントとスパース性コンポーネントに解きほぐし、2つのコンポーネントを実際のデータと別々に位置合わせすることでSynLiDARを変換します。複数のデータ拡張および半教師ありセマンティックセグメンテーションタスクに関する広範な実験は、非常に肯定的な結果を示しています。SynLiDARは、パフォーマンスを犠牲にすることなく、より優れたモデルをトレーニングするか、実際の注釈付きデータを削減でき、PCT-Net変換データはモデルのパフォーマンスを一貫してさらに向上させます。
Transfer learning from synthetic to real data has been proved an effective way of mitigating data annotation constraints in various computer vision tasks. However, the developments focused on 2D images but lag far behind for 3D point clouds due to the lack of large-scale high-quality synthetic point cloud data and effective transfer methods. We address this issue by collecting SynLiDAR, a synthetic LiDAR point cloud dataset that contains large-scale point-wise annotated point cloud with accurate geometric shapes and comprehensive semantic classes, and designing PCT-Net, a point cloud translation network that aims to narrow down the gap with real-world point cloud data. For SynLiDAR, we leverage graphic tools and professionals who construct multiple realistic virtual environments with rich scene types and layouts where annotated LiDAR points can be generated automatically. On top of that, PCT-Net disentangles synthetic-to-real gaps into an appearance component and a sparsity component and translates SynLiDAR by aligning the two components with real-world data separately. Extensive experiments over multiple data augmentation and semi-supervised semantic segmentation tasks show very positive outcomes - including SynLiDAR can either train better models or reduce real-world annotated data without sacrificing performance, and PCT-Net translated data further improve model performance consistently.