arXiv reaDer
ドメインギャップを閉じるためのオブジェクト点群のノイズを意識した合成に関する準平衡自己訓練
Quasi-Balanced Self-Training on Noise-Aware Synthesis of Object Point Clouds for Closing Domain Gap
オブジェクトポイントクラウドのセマンティック分析は、主に、インスタンスがオブジェクトCADモデルからサンプリングされた合成データセットを含むベンチマークデータセットのリリースによって推進されます。ただし、合成データからの学習は、点群が通常不完全で、不均一に分布し、ノイズが多い実際のシナリオに一般化されない場合があります。シミュレーションから現実への(Sim2Real)ドメインギャップのこのような課題は、ドメイン適応の学習アルゴリズムを介して軽減できます。ただし、体系的な不均一なノイズパターンをキャプチャできるため、より物理的にリアルなレンダリングによる合成点群の生成は強力な代替手段であると主張します。この目的のために、CADモデルへのスペックルパターンの投影によるステレオ画像のレンダリングによるオブジェクトポイントクラウドの物理的に現実的な合成と、スパース性駆動型選択によるよりバランスの取れたデータ分散のために設計された新しい準バランス型セルフトレーニングからなる統合スキームを提案します。ロングテールクラスの疑似ラベル付きサンプルの数。実験結果は、点群分類における教師なしドメイン適応のための私たちの方法とその両方のモジュールの有効性を検証し、最先端のパフォーマンスを達成することができます。ソースコードとSpeckleNet合成データセットは、https://github.com/Gorilla-Lab-SCUT/QS3で入手できます。
Semantic analyses of object point clouds are largely driven by releasing of benchmarking datasets, including synthetic ones whose instances are sampled from object CAD models. However, learning from synthetic data may not generalize to practical scenarios, where point clouds are typically incomplete, non-uniformly distributed, and noisy. Such a challenge of Simulation-to-Reality (Sim2Real) domain gap could be mitigated via learning algorithms of domain adaptation; however, we argue that generation of synthetic point clouds via more physically realistic rendering is a powerful alternative, as systematic non-uniform noise patterns can be captured. To this end, we propose an integrated scheme consisting of physically realistic synthesis of object point clouds via rendering stereo images via projection of speckle patterns onto CAD models and a novel quasi-balanced self-training designed for more balanced data distribution by sparsity-driven selection of pseudo labeled samples for long tailed classes. Experiment results can verify the effectiveness of our method as well as both of its modules for unsupervised domain adaptation on point cloud classification, achieving the state-of-the-art performance. Source codes and the SpeckleNet synthetic dataset are available at https://github.com/Gorilla-Lab-SCUT/QS3.
updated: Tue Jul 19 2022 06:57:13 GMT+0000 (UTC)
published: Tue Mar 08 2022 03:44:49 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト