最初の位置合わせを必要とせずに点群を登録するために使用できる、特徴的な3Dローカルディープ記述子(DIP)を学習するためのシンプルでありながら効果的な方法を紹介します。点群パッチが抽出され、推定されたローカル参照フレームに関して正規化され、PointNetベースのディープニューラルネットワークによって回転不変のコンパクト記述子にエンコードされます。 DIPは、ローカルおよびランダムにサンプリングされたポイントからエンドツーエンドで学習されるため、さまざまなセンサーモダリティ間で効果的に一般化できます。 DIPはローカルの幾何学的情報のみをエンコードするため、乱雑さ、オクルージョン、欠落領域に対して堅牢です。さまざまなセンサーを使用して再構築された点群で構成されるいくつかの屋内および屋外のデータセットで、DIPを評価し、代替の手作りの深い記述子と比較します。結果は、DIPが(i)RGB-D屋内シーン(3DMatchデータセット)で最先端の結果を達成し、(ii)屋外のレーザースキャナーで最先端を大幅に上回っていることを示していますシーン(ETHデータセット)、および(iii)AndroidARCoreのVisual-SLAMシステムで再構築された屋内シーンに一般化します。ソースコード:https://github.com/fabiopoiesi/dip。
We present a simple but yet effective method for learning distinctive 3D local deep descriptors (DIPs) that can be used to register point clouds without requiring an initial alignment. Point cloud patches are extracted, canonicalised with respect to their estimated local reference frame and encoded into rotation-invariant compact descriptors by a PointNet-based deep neural network. DIPs can effectively generalise across different sensor modalities because they are learnt end-to-end from locally and randomly sampled points. Because DIPs encode only local geometric information, they are robust to clutter, occlusions and missing regions. We evaluate and compare DIPs against alternative hand-crafted and deep descriptors on several indoor and outdoor datasets consisting of point clouds reconstructed using different sensors. Results show that DIPs (i) achieve comparable results to the state-of-the-art on RGB-D indoor scenes (3DMatch dataset), (ii) outperform state-of-the-art by a large margin on laser-scanner outdoor scenes (ETH dataset), and (iii) generalise to indoor scenes reconstructed with the Visual-SLAM system of Android ARCore. Source code: https://github.com/fabiopoiesi/dip.