PointNet ++は、点群を理解する上で最も影響力のあるニューラルアーキテクチャの1つです。 PointNet ++の精度は、PointMLPやPoint Transformerなどの最近のネットワークによって大幅に上回っていますが、パフォーマンスの向上の大部分は、トレーニング戦略の改善、つまりデータ拡張と最適化の手法、およびアーキテクチャではなくモデルサイズの増加によるものであることがわかりました。イノベーション。したがって、PointNet++の可能性を完全に探求する必要はありません。この作業では、モデルのトレーニングとスケーリング戦略の体系的な研究を通じて、従来のPointNet ++を再検討し、2つの主要な貢献を提供します。まず、PointNet++のパフォーマンスを大幅に向上させる一連の改善されたトレーニング戦略を提案します。たとえば、アーキテクチャを変更せずに、ScanObjectNNオブジェクト分類でのPointNet ++の全体的な精度(OA)を77.9%から86.1%に上げることができ、最先端のPointMLPよりも優れていることを示します。次に、PointNet ++に反転残差ボトルネック設計と分離可能なMLPを導入して、効率的かつ効果的なモデルスケーリングを可能にし、PointNetの次のバージョンであるPointNeXtを提案します。 PointNeXtは柔軟にスケールアップでき、3D分類とセグメンテーションタスクの両方で最先端の方法よりも優れています。分類の場合、PointNeXtはScanObjectNNで全体の精度が87.7%に達し、PointMLPを2.3%超えていますが、推論は10倍高速です。セマンティックセグメンテーションの場合、PointNeXtは、S3DISでの平均IoUが74.9%(6倍のクロス検証)で、最近のPointTransformerよりも優れた新しい最先端のパフォーマンスを確立します。コードとモデルはhttps://github.com/guochengqian/pointnextで入手できます。
PointNet++ is one of the most influential neural architectures for point cloud understanding. Although the accuracy of PointNet++ has been largely surpassed by recent networks such as PointMLP and Point Transformer, we find that a large portion of the performance gain is due to improved training strategies, i.e. data augmentation and optimization techniques, and increased model sizes rather than architectural innovations. Thus, the full potential of PointNet++ has yet to be explored. In this work, we revisit the classical PointNet++ through a systematic study of model training and scaling strategies, and offer two major contributions. First, we propose a set of improved training strategies that significantly improve PointNet++ performance. For example, we show that, without any change in architecture, the overall accuracy (OA) of PointNet++ on ScanObjectNN object classification can be raised from 77.9% to 86.1%, even outperforming state-of-the-art PointMLP. Second, we introduce an inverted residual bottleneck design and separable MLPs into PointNet++ to enable efficient and effective model scaling and propose PointNeXt, the next version of PointNets. PointNeXt can be flexibly scaled up and outperforms state-of-the-art methods on both 3D classification and segmentation tasks. For classification, PointNeXt reaches an overall accuracy of 87.7% on ScanObjectNN, surpassing PointMLP by 2.3%, while being 10 × faster in inference. For semantic segmentation, PointNeXt establishes a new state-of-the-art performance with 74.9% mean IoU on S3DIS (6-fold cross-validation), being superior to the recent Point Transformer. The code and models are available at https://github.com/guochengqian/pointnext.