arXiv reaDer
End-to-End Multi-View Fusion for 3D Object Detection in LiDAR Point Clouds
  3Dオブジェクト検出に関する最近の研究では、鳥瞰図でのポイントクラウドボクセル化が提唱されており、オブジェクトは物理的な寸法を保持し、自然に分離可能です。ただし、このビューで表される場合、点群はまばらであり、点密度が非常に可変であるため、検出器が遠くまたは小さな物体(歩行者、交通標識など)を検出するのが困難になる場合があります。一方、パースペクティブビューは密集した観測を提供するため、このような場合により適したフィーチャエンコーディングが可能になります。本論文では、鳥瞰図と透視図の相乗効果を目指し、両方からの補完情報を活用することを効果的に学習できる新しいエンドツーエンドのマルチビュー融合(MVF)アルゴリズムを提案します。具体的には、動的ボクセル化を導入します。これには、既存のボクセル化手法と比較して4つのメリットがあります。i)固定サイズのテンソルを事前に割り当てる必要がなくなります。 ii)確率的ポイント/ボクセルのドロップアウトによる情報損失の克服。 iii)決定論的なボクセル埋め込みとより安定した検出結果の生成。 iv)ポイントとボクセル間の双方向の関係を確立します。これにより、クロスビューフィーチャフュージョンの自然な基盤が潜在的に構築されます。動的ボクセル化を採用することにより、提案された機能融合アーキテクチャは、各ポイントが異なるビューからのコンテキスト情報を融合することを学ぶことを可能にします。 MVFはポイントで動作し、LiDARポイントクラウドを使用する他のアプローチに自然に拡張できます。新しくリリースされたWaymo Open DatasetおよびKITTIデータセットでMVFモデルを広範囲に評価し、同等のシングルビューPointPillarsベースラインよりも検出精度が大幅に向上することを示します。
Recent work on 3D object detection advocates point cloud voxelization in birds-eye view, where objects preserve their physical dimensions and are naturally separable. When represented in this view, however, point clouds are sparse and have highly variable point density, which may cause detectors difficulties in detecting distant or small objects (pedestrians, traffic signs, etc.). On the other hand, perspective view provides dense observations, which could allow more favorable feature encoding for such cases. In this paper, we aim to synergize the birds-eye view and the perspective view and propose a novel end-to-end multi-view fusion (MVF) algorithm, which can effectively learn to utilize the complementary information from both. Specifically, we introduce dynamic voxelization, which has four merits compared to existing voxelization methods, i) removing the need of pre-allocating a tensor with fixed size; ii) overcoming the information loss due to stochastic point/voxel dropout; iii) yielding deterministic voxel embeddings and more stable detection outcomes; iv) establishing the bi-directional relationship between points and voxels, which potentially lays a natural foundation for cross-view feature fusion. By employing dynamic voxelization, the proposed feature fusion architecture enables each point to learn to fuse context information from different views. MVF operates on points and can be naturally extended to other approaches using LiDAR point clouds. We evaluate our MVF model extensively on the newly released Waymo Open Dataset and on the KITTI dataset and demonstrate that it significantly improves detection accuracy over the comparable single-view PointPillars baseline.
updated: Wed Oct 23 2019 21:39:25 GMT+0000 (UTC)
published: Tue Oct 15 2019 05:13:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト