私たちは点群からシーン フローを推定するタスクに取り組みます。ソース点群とターゲット点群が与えられた場合、その目的は、ソース点群の各点からターゲットまでの平行移動を推定し、その結果 3D 動きベクトル フィールドが得られることです。以前の主要なシーン フロー推定方法では、多段階の改良として、複雑な粗いものから細かいものへの、または反復的なアーキテクチャが必要です。対照的に、この問題に対処するために、非常に単純な単一スケールのワンショット グローバル マッチングを提案します。私たちの主な発見は、正確なシーン フローを推定するには、ポイント ペア間の信頼できる特徴の類似性が不可欠かつ十分であるということです。この目的を達成するために、正確で堅牢な特徴表現に不可欠なハイブリッド ローカル-グローバル-クロス トランスフォーマー アーキテクチャを介して特徴抽出ステップを分解することを提案します。広範な実験により、GMSF が複数のシーン フロー推定ベンチマークに関して新しい最先端のベンチマークを設定することが示されました。 FlyingThings3D では、オクルージョン ポイントが存在するため、GMSF は異常値の割合を以前の最高パフォーマンスの 27.4% から 11.7% に減らします。 KITTI シーン フローでは、微調整を行わなくても、提案手法は最先端のパフォーマンスを示します。
We tackle the task of scene flow estimation from point clouds. Given a source and a target point cloud, the objective is to estimate a translation from each point in the source point cloud to the target, resulting in a 3D motion vector field. Previous dominant scene flow estimation methods require complicated coarse-to-fine or recurrent architectures as a multi-stage refinement. In contrast, we propose a significantly simpler single-scale one-shot global matching to address the problem. Our key finding is that reliable feature similarity between point pairs is essential and sufficient to estimate accurate scene flow. To this end, we propose to decompose the feature extraction step via a hybrid local-global-cross transformer architecture which is crucial to accurate and robust feature representations. Extensive experiments show that GMSF sets a new state-of-the-art on multiple scene flow estimation benchmarks. On FlyingThings3D, with the presence of occlusion points, GMSF reduces the outlier percentage from the previous best performance of 27.4% to 11.7%. On KITTI Scene Flow, without any fine-tuning, our proposed method shows state-of-the-art performance.