近年、半教師あり学習が広く研究されており、2Dデータの優れたデータ効率を示しています。ラベル付けされた3Dデータが不足しているため、3Dタスクのデータ効率を改善する必要性が高まっています。このホワイトペーパーでは、3Dデータのさまざまなモデル(点群、画像、メッシュなど)のコヒーレンスを使用して、3D分類タスクと検索タスクの両方のデータ効率を向上させる方法について説明します。インスタンスレベルの一貫性制約と新しいマルチモーダルコントラストプロトタイプ(M2CP)損失を導入することにより、新しいマルチモーダル半教師あり学習フレームワークを提案します。インスタンスレベルの整合性により、ネットワークは、モダリティに関係なく、同じオブジェクトのマルチモーダルデータの整合性のある表現を生成します。 M2CPは、各クラスのマルチモーダルプロトタイプを維持し、各オブジェクトからプロトタイプまでの距離を最大化しながら、他のオブジェクトまでの距離を最大化することで、クラス内の変動が小さいフィーチャを学習します。私たちが提案するフレームワークは、modelNet10およびModelNet40データセットで、分類タスクと検索タスクの両方で、すべての最先端のフレームワークを大幅に上回っています。
In recent years, semi-supervised learning has been widely explored and shows excellent data efficiency for 2D data. There is an emerging need to improve data efficiency for 3D tasks due to the scarcity of labeled 3D data. This paper explores how the coherence of different modelities of 3D data (e.g. point cloud, image, and mesh) can be used to improve data efficiency for both 3D classification and retrieval tasks. We propose a novel multimodal semi-supervised learning framework by introducing instance-level consistency constraint and a novel multimodal contrastive prototype (M2CP) loss. The instance-level consistency enforces the network to generate consistent representations for multimodal data of the same object regardless of its modality. The M2CP maintains a multimodal prototype for each class and learns features with small intra-class variations by minimizing the feature distance of each object to its prototype while maximizing the distance to the others. Our proposed framework significantly outperforms all the state-of-the-art counterparts for both classification and retrieval tasks by a large margin on the modelNet10 and ModelNet40 datasets.