黒色腫の識別には、臨床およびダーモスコピー法を使用して取得された皮膚病変画像の統合分析が含まれます。皮膚鏡画像は、肉眼で見える臨床画像を補足する地下の視覚構造の詳細なビューを提供します。黒色腫の診断は通常、7ポイントの視覚的カテゴリーチェックリスト(7PC)に基づいています。 7PCには、共有機能、相関関係、診断に対するカテゴリの寄与など、分類に役立つカテゴリ間の固有の関係が含まれています。手動分類は主観的であり、観察者内および観察者間で変動する傾向があります。これは、診断を改善するための自動化された方法の機会を提供します。現在の最先端の方法は、単一の画像モダリティに焦点を合わせ、他のモダリティからの情報を無視するか、両方のモダリティからの補完的な情報を十分に活用していません。さらに、7PCのカテゴリ間の関係を利用する方法はありません。この研究では、2つのモジュールを備えたグラフベースのカテゴリ間およびモダリティ間ネットワーク(GIIN)を提案することにより、これらの問題に対処します。グラフベースのリレーショナルモジュール(GRM)は、カテゴリ間関係、モーダル間関係を活用し、グラフネットワークでカテゴリ表現をエンコードすることにより、ダーモスコピーからの視覚的構造の詳細に優先順位を付けます。カテゴリ埋め込み学習モジュール(CELM)は、各カテゴリに特化し、GRMをサポートする表現をキャプチャします。ダーモスコピー臨床画像の公開データセットを使用して、モジュールが分類パフォーマンスの向上に効果的であることを示し、7PCカテゴリの分類と診断において最先端の方法よりも優れていることを示します。
The identification of melanoma involves an integrated analysis of skin lesion images acquired using the clinical and dermoscopy modalities. Dermoscopic images provide a detailed view of the subsurface visual structures that supplement the macroscopic clinical images. Melanoma diagnosis is commonly based on the 7-point visual category checklist (7PC). The 7PC contains intrinsic relationships between categories that can aid classification, such as shared features, correlations, and the contributions of categories towards diagnosis. Manual classification is subjective and prone to intra- and interobserver variability. This presents an opportunity for automated methods to improve diagnosis. Current state-of-the-art methods focus on a single image modality and ignore information from the other, or do not fully leverage the complementary information from both modalities. Further, there is not a method to exploit the intercategory relationships in the 7PC. In this study, we address these issues by proposing a graph-based intercategory and intermodality network (GIIN) with two modules. A graph-based relational module (GRM) leverages intercategorical relations, intermodal relations, and prioritises the visual structure details from dermoscopy by encoding category representations in a graph network. The category embedding learning module (CELM) captures representations that are specialised for each category and support the GRM. We show that our modules are effective at enhancing classification performance using a public dataset of dermoscopy-clinical images, and show that our method outperforms the state-of-the-art at classifying the 7PC categories and diagnosis.