arXiv reaDer
Few-Shot 3D 点群分類の詳細
A Closer Look at Few-Shot 3D Point Cloud Classification
近年、ラベル付けされたトレーニング データの要件が少なくなり、新しいクラスの一般化が進んだため、2D 画像ドメインで少数ショット学習 (FSL) に関する研究が急速に成長しています。ただし、3D 点群データでのそのアプリケーションは、比較的調査されていません。 2D ドメインのように目に見えないクラスを区別する必要があるだけでなく、3D FSL は、不規則な構造、クラス間の微妙な違い、少数のデータでトレーニングした場合のクラス内分散の高さという点で、より困難です。さらに、さまざまなアーキテクチャと学習アルゴリズムにより、3D ドメインに移行する際に既存の 2D FSL アルゴリズムの有効性を調査することが困難になります。この作業では、最近の 2D FSL 作業を 3D 点群関連のバックボーン ネットワークに直接適用する体系的かつ広範な調査を初めて実行し、少数ショット 3D 点群分類の強力な学習ベースラインを提案します。さらに、Salient-Part Fusion (SPF) モジュール、Self-Channel Interaction Plus (SCI+) モジュール、および Cross-Instance と呼ばれる 3 つの新しいプラグ アンド プレイ コンポーネントを備えた新しいネットワーク、Point-cloud Correlation Interaction (PCIA) を提案します。より代表的な埋め込みを取得し、機能の区別を改善するための Fusion Plus (CIF+) モジュール。これらのモジュールは、わずかな変更でほとんどの FSL アルゴリズムに挿入でき、パフォーマンスが大幅に向上します。 3 つのベンチマーク データセット、ModelNet40-FS、ShapeNet70-FS、および ScanObjectNN-FS での実験結果は、この方法が 3D FSL タスクで最先端のパフォーマンスを達成することを示しています。コードとデータセットは https://github.com/cgye96/A_Closer_Look_At_3DFSL で入手できます。
In recent years, research on few-shot learning (FSL) has been fast-growing in the 2D image domain due to the less requirement for labeled training data and greater generalization for novel classes. However, its application in 3D point cloud data is relatively under-explored. Not only need to distinguish unseen classes as in the 2D domain, 3D FSL is more challenging in terms of irregular structures, subtle inter-class differences, and high intra-class variances when trained on a low number of data. Moreover, different architectures and learning algorithms make it difficult to study the effectiveness of existing 2D FSL algorithms when migrating to the 3D domain. In this work, for the first time, we perform systematic and extensive investigations of directly applying recent 2D FSL works to 3D point cloud related backbone networks and thus suggest a strong learning baseline for few-shot 3D point cloud classification. Furthermore, we propose a new network, Point-cloud Correlation Interaction (PCIA), with three novel plug-and-play components called Salient-Part Fusion (SPF) module, Self-Channel Interaction Plus (SCI+) module, and Cross-Instance Fusion Plus (CIF+) module to obtain more representative embeddings and improve the feature distinction. These modules can be inserted into most FSL algorithms with minor changes and significantly improve the performance. Experimental results on three benchmark datasets, ModelNet40-FS, ShapeNet70-FS, and ScanObjectNN-FS, demonstrate that our method achieves state-of-the-art performance for the 3D FSL task. Code and datasets are available at https://github.com/cgye96/A_Closer_Look_At_3DFSL.
updated: Fri Mar 31 2023 17:01:13 GMT+0000 (UTC)
published: Fri Mar 31 2023 17:01:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト