arXiv reaDer
SCTN:シーンフロー推定のためのスパース畳み込み-トランスフォーマーネットワーク
SCTN: Sparse Convolution-Transformer Network for Scene Flow Estimation
点群から3Dモーションをキャプチャして推測するための新しいシーンフロー推定アプローチを提案します。点群は順序付けられておらず、その密度が大幅に不均一であるため、点群の3Dモーションを推定することは困難です。このような非構造化データは、点群間で対応するポイントを一致させるのが困難であり、不正確なフロー推定につながります。スパース畳み込みにトランスを装備するスパース畳み込み-トランスネットワーク(SCTN)という名前の新しいアーキテクチャを提案します。具体的には、スパース畳み込みを活用することにより、SCTNは不規則な点群を局所的に一貫した流れの特徴に転送し、オブジェクト/ローカルオブジェクトパーツ内の連続的で一貫した動きを推定します。さらに、既存の方法とは異なり、ポイントトランスフォーマーモジュールを使用してポイント関係を明示的に学習することを提案します。学習した関係ベースのコンテキスト情報が豊富で、対応するポイントを照合するのに役立ち、シーンフローの推定に役立つことを示します。さらに、特徴の類似性に応じて流れの一貫性を適応的に促進するために、新しい損失関数が提案されています。広範な実験は、提案されたアプローチがシーンフロー推定の新しい最先端を達成することを示しています。私たちのアプローチは、FlyingThings3DとKITTIシーンフローでそれぞれ0.038と0.037(EPE3D)のエラーを達成します。これは、以前の方法を大幅に上回っています。
We propose a novel scene flow estimation approach to capture and infer 3D motions from point clouds. Estimating 3D motions for point clouds is challenging, since a point cloud is unordered and its density is significantly non-uniform. Such unstructured data poses difficulties in matching corresponding points between point clouds, leading to inaccurate flow estimation. We propose a novel architecture named Sparse Convolution-Transformer Network (SCTN) that equips the sparse convolution with the transformer. Specifically, by leveraging the sparse convolution, SCTN transfers irregular point cloud into locally consistent flow features for estimating continuous and consistent motions within an object/local object part. We further propose to explicitly learn point relations using a point transformer module, different from exiting methods. We show that the learned relation-based contextual information is rich and helpful for matching corresponding points, benefiting scene flow estimation. In addition, a novel loss function is proposed to adaptively encourage flow consistency according to feature similarity. Extensive experiments demonstrate that our proposed approach achieves a new state of the art in scene flow estimation. Our approach achieves an error of 0.038 and 0.037 (EPE3D) on FlyingThings3D and KITTI Scene Flow respectively, which significantly outperforms previous methods by large margins.
updated: Wed Jun 02 2021 23:42:06 GMT+0000 (UTC)
published: Mon May 10 2021 15:16:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト