arXiv reaDer
点群シーケンスからのパーツモビリティの自己教師あり学習
Self-Supervised Learning of Part Mobility from Point Cloud Sequence
部品の可動性分析は、3Dオブジェクトの機能を理解するために必要な重要な側面です。 3Dオブジェクトの連続的なパーツモーションからパーツの移動性を取得するのは自然なことです。この研究では、モーションパーツをセグメント化し、動的オブジェクトを表すポイントクラウドシーケンスからモーション属性を予測するための自己監視法を紹介します。点群シーケンスからの時空間情報を十分に活用するために、点群を直接処理するのではなく、シーケンスの連続するフレーム間の相関を使用して軌跡を生成します。 PointRNNと呼ばれる新しいニューラルネットワークアーキテクチャを提案して、軌道の特徴表現とその部分の剛体運動を学習します。モーションパーツのセグメンテーション、モーション軸の予測、モーション範囲の推定など、さまざまなタスクでメソッドを評価します。結果は、私たちの方法が合成データセットと実際のデータセットの両方で以前の手法よりも優れていることを示しています。さらに、私たちの方法には、新しい目に見えないオブジェクトに一般化する機能があります。以前の形状構造、以前の形状カテゴリ情報、または形状の向きを知る必要がないことを強調することが重要です。私たちの知る限り、これは動的オブジェクトの点群シーケンスからパーツの移動性を抽出するディープラーニングに関する最初の研究です。
Part mobility analysis is a significant aspect required to achieve a functional understanding of 3D objects. It would be natural to obtain part mobility from the continuous part motion of 3D objects. In this study, we introduce a self-supervised method for segmenting motion parts and predicting their motion attributes from a point cloud sequence representing a dynamic object. To sufficiently utilize spatiotemporal information from the point cloud sequence, we generate trajectories by using correlations among successive frames of the sequence instead of directly processing the point clouds. We propose a novel neural network architecture called PointRNN to learn feature representations of trajectories along with their part rigid motions. We evaluate our method on various tasks including motion part segmentation, motion axis prediction and motion range estimation. The results demonstrate that our method outperforms previous techniques on both synthetic and real datasets. Moreover, our method has the ability to generalize to new and unseen objects. It is important to emphasize that it is not required to know any prior shape structure, prior shape category information, or shape orientation. To the best of our knowledge, this is the first study on deep learning to extract part mobility from point cloud sequence of a dynamic object.
updated: Tue Mar 02 2021 09:34:11 GMT+0000 (UTC)
published: Tue Oct 20 2020 11:29:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト