膵臓がんは、がん関連死の主要な原因の 1 つです。膵臓病変の完全な分類、すなわち、正常、主要な 7 種類の病変、およびその他の病変の正確な検出、セグメンテーション、および鑑別診断は、患者の管理と治療の臨床的意思決定を支援するために重要です。ただし、既存の作業は、非常に特定の病変タイプ (PDAC) またはグループのセグメンテーションと分類に焦点を当てています。さらに、以前の研究のいずれも、病変の有病率に関連する非画像患者情報を使用して鑑別診断を支援することを考慮していません。この目的のために、メタ情報を認識するデュアルパストランスフォーマーを開発し、膵臓病変の完全な分類法の分類とセグメンテーションの実現可能性を活用します。具体的には、提案された方法は、CNN ベースのセグメンテーション パス (S パス) と変換器ベースの分類パス (C パス) で構成されます。 S パスは、UNet ベースのネットワークを使用したセマンティック セグメンテーションによる最初の特徴抽出に焦点を当てています。 C パスは、抽出された特徴とメタ情報の両方を利用して、グローバルなコンテキスト情報のモデリングを強化するデュアルパス トランスフォーマー ブロックのスタックに基づく患者レベルの分類を行います。病理学的に確認された膵臓病変クラス ラベル、放射線科医からの病変のボクセル単位の手動注釈、および患者のメタ情報を持つ 3,096 人の患者の大規模なマルチフェーズ CT データセットが、トレーニングと評価のために収集されました。私たちの結果は、私たちの方法が膵臓病変の完全な分類法の正確な分類とセグメンテーションを可能にし、放射線科医のレポートの精度に近づき、以前のベースラインを大幅に上回ることを示しています。結果は、一般的なメタ情報、つまり性別や年齢を追加するとモデルのパフォーマンスが向上することも示しており、膵臓疾患の診断を支援するためのメタ情報の重要性を示しています。
Pancreatic cancer is one of the leading causes of cancer-related death. Accurate detection, segmentation, and differential diagnosis of the full taxonomy of pancreatic lesions, i.e., normal, seven major types of lesions, and other lesions, is critical to aid the clinical decision-making of patient management and treatment. However, existing works focus on segmentation and classification for very specific lesion types (PDAC) or groups. Moreover, none of the previous work considers using lesion prevalence-related non-imaging patient information to assist the differential diagnosis. To this end, we develop a meta-information-aware dual-path transformer and exploit the feasibility of classification and segmentation of the full taxonomy of pancreatic lesions. Specifically, the proposed method consists of a CNN-based segmentation path (S-path) and a transformer-based classification path (C-path). The S-path focuses on initial feature extraction by semantic segmentation using a UNet-based network. The C-path utilizes both the extracted features and meta-information for patient-level classification based on stacks of dual-path transformer blocks that enhance the modeling of global contextual information. A large-scale multi-phase CT dataset of 3,096 patients with pathology-confirmed pancreatic lesion class labels, voxel-wise manual annotations of lesions from radiologists, and patient meta-information, was collected for training and evaluations. Our results show that our method can enable accurate classification and segmentation of the full taxonomy of pancreatic lesions, approaching the accuracy of the radiologist's report and significantly outperforming previous baselines. Results also show that adding the common meta-information, i.e., gender and age, can boost the model's performance, thus demonstrating the importance of meta-information for aiding pancreatic disease diagnosis.