一般的なポイントクラウドは、さまざまなタスクについてますます調査されており、最近、ポイントクラウド分析のためにTransformerベースのネットワークが提案されています。しかし、病気の検出と治療に重要な医療点群については、ほとんど関連のない作業があります。この作業では、複雑な生物学的構造を調べるために、特に医療点群、つまり3D医療点変換器(3DMedPT)用の注意ベースのモデルを提案します。コンテキスト情報を拡張し、クエリでのローカルレスポンスを要約することで、アテンションモジュールはローカルコンテキストとグローバルコンテンツ機能の相互作用の両方をキャプチャできます。ただし、医療データのトレーニングサンプルが不十分な場合、特徴の学習が不十分になる可能性があるため、位置の埋め込みを適用して正確なローカルジオメトリを学習し、マルチグラフ推論(MGR)を適用して、チャネルグラフを介したグローバルな知識の伝播を調べ、特徴の表現を充実させます。 IntrAデータセットで実施された実験は、3DMedPTの優位性を証明しており、最高の分類とセグメンテーションの結果を達成しています。さらに、私たちの方法の有望な一般化能力は、一般的な3DポイントクラウドベンチマークであるModelNet40とShapeNetPartで検証されています。コードはまもなくリリースされます。
General point clouds have been increasingly investigated for different tasks, and recently Transformer-based networks are proposed for point cloud analysis. However, there are barely related works for medical point clouds, which are important for disease detection and treatment. In this work, we propose an attention-based model specifically for medical point clouds, namely 3D medical point Transformer (3DMedPT), to examine the complex biological structures. By augmenting contextual information and summarizing local responses at query, our attention module can capture both local context and global content feature interactions. However, the insufficient training samples of medical data may lead to poor feature learning, so we apply position embeddings to learn accurate local geometry and Multi-Graph Reasoning (MGR) to examine global knowledge propagation over channel graphs to enrich feature representations. Experiments conducted on IntrA dataset proves the superiority of 3DMedPT, where we achieve the best classification and segmentation results. Furthermore, the promising generalization ability of our method is validated on general 3D point cloud benchmarks: ModelNet40 and ShapeNetPart. Code will be released soon.