arXiv reaDer
ポーズの解きほぐしによる部分点群からの自己監視特徴学習
Self-Supervised Feature Learning from Partial Point Clouds via Pose Disentanglement
点群での自己監視学習は、点群タスクでのラベル効率とドメインギャップの問題に対処するため、最近多くの注目を集めています。この論文では、部分的な点群から有益な表現を学習するための新しい自己監視フレームワークを提案します。コンテンツ属性とポーズ属性の両方を含むLiDARによってスキャンされた部分点群を活用し、そのような2つの要素を部分点群から解きほぐすことで、特徴表現の学習が強化されることを示します。この目的のために、私たちのフレームワークは3つの主要な部分で構成されています。1)点群の全体的なセマンティクスをキャプチャするための完了ネットワーク。 2)部分データがスキャンされる視野角を理解するためのポーズ回帰ネットワーク。 3)モデルがコンテンツを学習して特徴をポーズすることを奨励するための部分的な再構築ネットワーク。学習した特徴表現の堅牢性を実証するために、分類、パーツのセグメンテーション、登録などのいくつかのダウンストリームタスクを実行し、最先端の方法と比較します。私たちの方法は、既存の自己監視方法よりも優れているだけでなく、合成データセットと実世界のデータセット全体でより優れた一般化可能性を示しています。
Self-supervised learning on point clouds has gained a lot of attention recently, since it addresses the label-efficiency and domain-gap problems on point cloud tasks. In this paper, we propose a novel self-supervised framework to learn informative representations from partial point clouds. We leverage partial point clouds scanned by LiDAR that contain both content and pose attributes, and we show that disentangling such two factors from partial point clouds enhances feature representation learning. To this end, our framework consists of three main parts: 1) a completion network to capture holistic semantics of point clouds; 2) a pose regression network to understand the viewing angle where partial data is scanned from; 3) a partial reconstruction network to encourage the model to learn content and pose features. To demonstrate the robustness of the learnt feature representations, we conduct several downstream tasks including classification, part segmentation, and registration, with comparisons against state-of-the-art methods. Our method not only outperforms existing self-supervised methods, but also shows a better generalizability across synthetic and real-world datasets.
updated: Sun Jan 09 2022 14:12:50 GMT+0000 (UTC)
published: Sun Jan 09 2022 14:12:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト