シーンフロー推定は、点群の2つの連続するフレーム間の点ごとの3D変位ベクトルを予測するタスクであり、サービスロボットや自動運転などの分野で重要な用途があります。これまでの多くの研究では、点群に基づくシーンフローの推定について大いに検討されてきましたが、これまで気づかなかった、または十分に解決されていない2つの問題を指摘します。彼らの近所; 2)長距離移動を伴う点群の隣接フレーム間のシーンフローは、不正確に推定される可能性があります。最初の問題を解決するために、ユークリッド空間のコンテキスト構造情報を活用し、ローカルポイントフィーチャのソフト集計の重みを学習する、新しいコンテキスト認識セットconvレイヤーを提案します。私たちのデザインは、シーンの理解中にコンテキスト構造情報を人間が知覚することに触発されています。シーンフロー推定のために、3Dポイントクラウドのコンテキストアウェアポイントフィーチャピラミッドモジュールにコンテキストアウェアセットconvレイヤーを組み込みます。 2番目の問題については、遠距離恋愛に対処するために、残余流リファインメント層に明示的な残余流学習構造を提案します。 FlyingThings3DおよびKITTIシーンフローデータセットの実験とアブレーション研究は、提案された各コンポーネントの有効性を示し、あいまいなフレーム間関連付けと長距離移動推定の問題を解決することを示しています。 FlyingThings3DとKITTIの両方のシーンフローデータセットの定量的結果は、私たちの方法が最先端のパフォーマンスを達成し、私たちの知る限り、他のすべての以前の作品を少なくとも25%上回っていることを示しています。
Scene flow estimation is the task to predict the point-wise 3D displacement vector between two consecutive frames of point clouds, which has important application in fields such as service robots and autonomous driving. Although many previous works have explored greatly on scene flow estimation based on point clouds, we point out two problems that have not been noticed or well solved before: 1) Points of adjacent frames in repetitive patterns may be wrongly associated due to similar spatial structure in their neighbourhoods; 2) Scene flow between adjacent frames of point clouds with long-distance movement may be inaccurately estimated. To solve the first problem, we propose a novel context-aware set conv layer to exploit contextual structure information of Euclidean space and learn soft aggregation weights for local point features. Our design is inspired by human perception of contextual structure information during scene understanding. We incorporate the context-aware set conv layer in a context-aware point feature pyramid module of 3D point clouds for scene flow estimation. For the second problem, we propose an explicit residual flow learning structure in the residual flow refinement layer to cope with long-distance movement. The experiments and ablation study on FlyingThings3D and KITTI scene flow datasets demonstrate the effectiveness of each proposed component and that we solve problem of ambiguous inter-frame association and long-distance movement estimation. Quantitative results on both FlyingThings3D and KITTI scene flow datasets show that our method achieves state-of-the-art performance, surpassing all other previous works to the best of our knowledge by at least 25%.