arXiv reaDer
シーン フローを使用したポイント クラウド シーケンスの鳥瞰図表現の整列
Aligning Bird-Eye View Representation of Point Cloud Sequences using Scene Flow
低解像度の点群は、まばらであるため、オブジェクト検出方法が困難です。現在の点群を前の点群と連結して高密度化することは、この課題に対する一般的な解決策です。このような連結は、オドメトリを使用してエゴ車両の動きを除去することで可能になります。この方法は、Ego Motion Compensation (EMC) と呼ばれます。追加されたポイントのおかげで、EMC はシングル フレーム検出器のパフォーマンスを大幅に向上させます。ただし、動的オブジェクトのポイントが軌跡に沿って散乱することで現れる影の影響を受けます。この影響により、フィーチャ マップとオブジェクトの位置にずれが生じるため、パフォーマンスの向上は静止した動きの遅いオブジェクトのみに限定されます。シーン フローを使用すると、3D 空間で点群を整列させることができるため、特徴空間の不整列を自然に解決できます。シーン フロー計算が 3D オブジェクト検出パイプラインといくつかのコンポーネントを共有することを観察することにより、単一フレーム検出器がシーン フローを計算して鳥瞰図表現を修正できるようにするプラグイン モジュールを開発します。 NuScenes データセットでの実験では、モジュールによって大型車両の平均精度が大幅に向上 (最大 16%) されることが示されています。興味深いことに、これは最も深刻な影の効果を示しています。コードは https://github.com/quan-dao/pc-corrector で公開されています。
Low-resolution point clouds are challenging for object detection methods due to their sparsity. Densifying the present point cloud by concatenating it with its predecessors is a popular solution to this challenge. Such concatenation is possible thanks to the removal of ego vehicle motion using its odometry. This method is called Ego Motion Compensation (EMC). Thanks to the added points, EMC significantly improves the performance of single-frame detectors. However, it suffers from the shadow effect that manifests in dynamic objects' points scattering along their trajectories. This effect results in a misalignment between feature maps and objects' locations, thus limiting performance improvement to stationary and slow-moving objects only. Scene flow allows aligning point clouds in 3D space, thus naturally resolving the misalignment in feature spaces. By observing that scene flow computation shares several components with 3D object detection pipelines, we develop a plug-in module that enables single-frame detectors to compute scene flow to rectify their Bird-Eye View representation. Experiments on the NuScenes dataset show that our module leads to a significant increase (up to 16%) in the Average Precision of large vehicles, which interestingly demonstrates the most severe shadow effect. The code is published at https://github.com/quan-dao/pc-corrector.
updated: Thu May 04 2023 15:16:21 GMT+0000 (UTC)
published: Thu May 04 2023 15:16:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト