3Dオブジェクト検出の最近の進歩は、ボクセルベースのRegion Proposal Networks(RPN)の改良段階を開発して、精度と効率のバランスをより良くすることによって実現されています。最先端のフレームワークで人気のあるアプローチは、提案または関心領域(ROI)をグリッドに分割し、グリッド位置ごとに特徴を抽出してから、それらを合成してROI特徴を形成することです。印象的なパフォーマンスを達成する一方で、そのようなアプローチには、専門家の知識を正しく調整する必要があるいくつかの手作りのコンポーネント(グリッドサンプリング、セットの抽象化など)が含まれます。このホワイトペーパーでは、ボクセルベースのRPNとVector Attentionで構成された改良段階で構成される、APRO3D-Netという名前のROI機能コンピューティングへのデータ駆動型アプローチを提案します。元のマルチヘッドアテンションとは異なり、Vector Attentionは、ポイントフィーチャ内のさまざまなチャネルにさまざまな重みを割り当てるため、プールされたポイントとROIの間のより高度な関係をキャプチャできます。私たちの方法は、KITTIの検証セットで中程度の難易度でクラスCarに対して84.85 APの競争力のあるパフォーマンスを達成し、NuScenesで47.03 mAP(10クラスの平均)を達成します。 NVIDIAV100GPUで。コードはhttps://github.com/quan-dao/APRO3D-Netでリリースされています。
Recent advances in 3D object detection are made by developing the refinement stage for voxel-based Region Proposal Networks (RPN) to better strike the balance between accuracy and efficiency. A popular approach among state-of-the-art frameworks is to divide proposals, or Regions of Interest (ROI), into grids and extract features for each grid location before synthesizing them to form ROI features. While achieving impressive performances, such an approach involves several hand-crafted components (e.g. grid sampling, set abstraction) which requires expert knowledge to be tuned correctly. This paper proposes a data-driven approach to ROI feature computing named APRO3D-Net which consists of a voxel-based RPN and a refinement stage made of Vector Attention. Unlike the original multi-head attention, Vector Attention assigns different weights to different channels within a point feature, thus being able to capture a more sophisticated relation between pooled points and ROI. Our method achieves a competitive performance of 84.85 AP for class Car at moderate difficulty on the validation set of KITTI and 47.03 mAP (average over 10 classes) on NuScenes while having the least parameters compared to closely related methods and attaining an inference speed at 15 FPS on NVIDIA V100 GPU. The code is released at https://github.com/quan-dao/APRO3D-Net.