arXiv reaDer
Back-tracing Representative Points for Voting-based 3D Object Detection in Point Clouds
点群での3Dオブジェクト検出は、3D視覚世界を理解するためのさまざまなアプリケーションに役立つ、やりがいのある視覚タスクです。最近の研究の多くは、オブジェクトの提案を生成するためにエンドツーエンドのトレーニング可能なハフ投票を活用する方法に焦点を当てています。ただし、現在の投票戦略では、潜在的なオブジェクトの表面からの部分的な投票と、雑然とした背景からの深刻な外れ値の投票しか受け取れないため、入力ポイントクラウドからの情報を十分に活用できません。この作業では、従来のハフ投票方法のバックトレース戦略に着想を得て、投票から代表ポイントを生成的にバックトレースする、バックトレース代表ポイントネットワーク(BRNet)という名前の新しい3Dオブジェクト検出方法を紹介します。生の点群から潜在的なオブジェクトを取り巻く細かい局所的な構造的特徴をよりよくキャプチャするために、これらの生成されたポイントの周りの補完的なシードポイントを中心に配置し、再訪します。したがって、BRNetのこのボトムアップ、次にトップダウンの戦略は、予測された投票センターと生の表面ポイントの間の相互一貫性を強制し、したがって、より信頼性が高く柔軟なオブジェクトのローカリゼーションとクラス予測の結果を実現します。当社のBRNetはシンプルですが効果的であり、2つの大規模な点群データセットであるScanNet V2(mAP@0.50で+ 7.5%)とSUN RGB-D(+ 4.7%)の最先端の方法を大幅に上回っています。 mAP@0.50)に関しては、軽量で効率的です。コードはで入手できます。
3D object detection in point clouds is a challenging vision task that benefits various applications for understanding the 3D visual world. Lots of recent research focuses on how to exploit end-to-end trainable Hough voting for generating object proposals. However, the current voting strategy can only receive partial votes from the surfaces of potential objects together with severe outlier votes from the cluttered backgrounds, which hampers full utilization of the information from the input point clouds. Inspired by the back-tracing strategy in the conventional Hough voting methods, in this work, we introduce a new 3D object detection method, named as Back-tracing Representative Points Network (BRNet), which generatively back-traces the representative points from the vote centers and also revisits complementary seed points around these generated points, so as to better capture the fine local structural features surrounding the potential objects from the raw point clouds. Therefore, this bottom-up and then top-down strategy in our BRNet enforces mutual consistency between the predicted vote centers and the raw surface points and thus achieves more reliable and flexible object localization and class prediction results. Our BRNet is simple but effective, which significantly outperforms the state-of-the-art methods on two large-scale point cloud datasets, ScanNet V2 (+7.5% in terms of mAP@0.50) and SUN RGB-D (+4.7% in terms of mAP@0.50), while it is still lightweight and efficient. Code will be available at
updated: Wed Apr 14 2021 06:38:30 GMT+0000 (UTC)
published: Tue Apr 13 2021 11:39:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト