arXiv reaDer
Melanoma detection with electrical impedance spectroscopy and dermoscopy using joint deep learning models
 皮膚病変の初期評価は通常、皮膚鏡画像に基づいています。これは困難で時間のかかる作業であるため、人間の専門家を支援するために、ダーモスコープ画像を使用した機械学習法が提案されています。他のアプローチでは、臨床的意思決定支援システムの基礎として電気インピーダンス分光法(EIS)が研究されています。ダーモスコピーは可視光に依存し、EISは電流を使用するため、どちらの方法も皮膚病変の特性を測定するさまざまな方法を表しています。したがって、2つの方法は、病変分類の補完的な機能を備えている可能性があります。したがって、黒色腫検出のためにEISとダーモスコピーの両方を考慮した共同深層学習モデルを提案します。この目的のために、ドメイン知識と以前に使用された経験則を設計プロセスに組み込むEISの機械学習方法を最初に研究します。結果として、さまざまなEIS測定の関連性を自動的に学習するstate-max-poolingを備えたリカレントモデルを提案します。第二に、この新しいモデルを、皮膚鏡画像を処理するさまざまな畳み込みニューラルネットワークと組み合わせます。アンサンブルのアプローチを研究し、またEISとダーモスコピーモデル間の情報交換をガイドするクロスアテンションモジュールを提案します。一般に、EISとダーモスコピーの組み合わせは、EISまたはダーモスコピーのいずれかのみを使用するモデルより明らかに優れています。注意ベースの結合モデルは、ダーモスコピー、EIS、および結合モデルについて、34.4%(CI 31.3-38.4)、34.7%(CI 31.0-38.8)、53.7%(CI 50.1-57.6)の特異性で他のモデルよりも優れていることを示しています、それぞれ、臨床的に関連する感度は98%です。
The initial assessment of skin lesions is typically based on dermoscopic images. As this is a difficult and time-consuming task, machine learning methods using dermoscopic images have been proposed to assist human experts. Other approaches have studied electrical impedance spectroscopy (EIS) as a basis for clinical decision support systems. Both methods represent different ways of measuring skin lesion properties as dermoscopy relies on visible light and EIS uses electric currents. Thus, the two methods might carry complementary features for lesion classification. Therefore, we propose joint deep learning models considering both EIS and dermoscopy for melanoma detection. For this purpose, we first study machine learning methods for EIS that incorporate domain knowledge and previously used heuristics into the design process. As a result, we propose a recurrent model with state-max-pooling which automatically learns the relevance of different EIS measurements. Second, we combine this new model with different convolutional neural networks that process dermoscopic images. We study ensembling approaches and also propose a cross-attention module guiding information exchange between the EIS and dermoscopy model. In general, combinations of EIS and dermoscopy clearly outperform models that only use either EIS or dermoscopy. We show that our attention-based, combined model outperforms other models with specificities of 34.4% (CI 31.3-38.4), 34.7% (CI 31.0-38.8) and 53.7% (CI 50.1-57.6) for dermoscopy, EIS and the combined model, respectively, at a clinically relevant sensitivity of 98%.
updated: Wed Feb 05 2020 14:28:04 GMT+0000 (UTC)
published: Wed Nov 06 2019 11:39:12 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト