データ拡張は、ディープ ニューラル ネットワークでの過剰適合を軽減するための効果的な正則化戦略であり、点群データが比較的限られている 3D ビジョン タスクで重要な役割を果たします。混合ベースの拡張は点群に有望であることが示されていますが、以前の方法では、ブロック レベルまたはポイント レベルで点群を混合していたため、さまざまなトレーニング サンプルの生成と点群の局所的な特性の維持との間でバランスを取る能力が制限されていました。さらに、点群の各部分のさまざまな重要性が十分に考慮されていないため、すべての部分が分類タスクに等しく寄与しているわけではなく、一部の部分には重要でない情報や冗長な情報が含まれている可能性があります。これらの課題を克服するために、パッチ レベルで点群を混合し、パッチ スコアリング モジュールを統合して混合点群のコンテンツ ベースのターゲットを生成する新しいアプローチである PointPatchMix を提案します。私たちのアプローチは、パッチ レベルで局所的な特徴を保持しますが、パッチ スコアリング モジュールは、事前トレーニング済みの教師モデルからのコンテンツ ベースの有意性スコアに基づいてターゲットを割り当てます。 ModelNet40 と ScanObjectNN の 2 つのベンチマーク データセットで PointPatchMix を評価し、合成データセットと実世界データセットの両方、および少数ショット設定のさまざまなベースラインで大幅な改善を示しています。 Point-MAE をベースラインとして使用すると、モデルは以前の方法を大幅に上回り、ScanObjectNN で 86.3% の精度、ModelNet40 で 94.1% の精度を達成しました。さらに、私たちのアプローチは、複数のアーキテクチャにわたって強力な一般化を示し、ベースライン モデルの堅牢性を高めます。
Data augmentation is an effective regularization strategy for mitigating overfitting in deep neural networks, and it plays a crucial role in 3D vision tasks, where the point cloud data is relatively limited. While mixing-based augmentation has shown promise for point clouds, previous methods mix point clouds either on block level or point level, which has constrained their ability to strike a balance between generating diverse training samples and preserving the local characteristics of point clouds. Additionally, the varying importance of each part of the point clouds has not been fully considered, cause not all parts contribute equally to the classification task, and some parts may contain unimportant or redundant information. To overcome these challenges, we propose PointPatchMix, a novel approach that mixes point clouds at the patch level and integrates a patch scoring module to generate content-based targets for mixed point clouds. Our approach preserves local features at the patch level, while the patch scoring module assigns targets based on the content-based significance score from a pre-trained teacher model. We evaluate PointPatchMix on two benchmark datasets, ModelNet40 and ScanObjectNN, and demonstrate significant improvements over various baselines in both synthetic and real-world datasets, as well as few-shot settings. With Point-MAE as our baseline, our model surpasses previous methods by a significant margin, achieving 86.3% accuracy on ScanObjectNN and 94.1% accuracy on ModelNet40. Furthermore, our approach shows strong generalization across multiple architectures and enhances the robustness of the baseline model.