arXiv reaDer
SSD-KD:ダーモスコピー画像を使用した軽量皮膚病変分類のための自己監視型多様知識蒸留法
SSD-KD: A Self-supervised Diverse Knowledge Distillation Method for Lightweight Skin Lesion Classification Using Dermoscopic Images
皮膚がんは、最も一般的なタイプの悪性腫瘍の1つであり、多くの人々に影響を及ぼし、世界中で大きな経済的負担を引き起こしています。過去数年にわたって、コンピューター支援診断は急速に開発され、人工知能の進歩により医療および医療行為において大きな進歩を遂げました。ただし、皮膚がんの検出に関するほとんどの研究では、ポータブルデバイスのコンピューティングリソースの制限を考慮せずに、高い予測精度を追求し続けています。この場合、知識蒸留(KD)は、限られたリソースの下で軽量モデルの適応性を向上させると同時に、高レベルの表現機能を維持するのに役立つ効率的なツールとして証明されています。ギャップを埋めるために、この研究では、SSD-KDと呼ばれる新しい方法を具体的に提案します。これは、多様な知識を皮膚疾患分類の一般的なKDフレームワークに統合します。私たちの方法は、インスタンス内の関係特徴表現をモデル化し、それを既存のKD研究と統合します。二重のリレーショナル知識蒸留アーキテクチャは自己監視でトレーニングされ、加重されたソフト化された出力も活用されて、学生モデルが教師モデルからより豊富な知識を取得できるようにします。私たちの方法の有効性を実証するために、皮膚病のダーモスコピー画像の大規模なオープンアクセスベンチマークであるISIC2019で実験を行います。実験によると、蒸留された軽量モデルは、最小限のパラメーターと計算要件で、8つの異なる皮膚疾患の分類タスクに対して85%もの高い精度を達成できることが示されています。アブレーション研究は、インスタンス内およびインスタンス間のリレーショナル知識統合戦略の有効性を確認します。最先端の知識蒸留技術と比較して、提案された方法は、大規模なダーモスコピーデータベースでの複数の疾患の分類のための改善された性能を示しています。
Skin cancer is one of the most common types of malignancy, affecting a large population and causing a heavy economic burden worldwide. Over the last few years, computer-aided diagnosis has been rapidly developed and make great progress in healthcare and medical practices due to the advances in artificial intelligence. However, most studies in skin cancer detection keep pursuing high prediction accuracies without considering the limitation of computing resources on portable devices. In this case, knowledge distillation (KD) has been proven as an efficient tool to help improve the adaptability of lightweight models under limited resources, meanwhile keeping a high-level representation capability. To bridge the gap, this study specifically proposes a novel method, termed SSD-KD, that unifies diverse knowledge into a generic KD framework for skin diseases classification. Our method models an intra-instance relational feature representation and integrates it with existing KD research. A dual relational knowledge distillation architecture is self-supervisedly trained while the weighted softened outputs are also exploited to enable the student model to capture richer knowledge from the teacher model. To demonstrate the effectiveness of our method, we conduct experiments on ISIC 2019, a large-scale open-accessed benchmark of skin diseases dermoscopic images. Experiments show that our distilled lightweight model can achieve an accuracy as high as 85% for the classification tasks of 8 different skin diseases with minimal parameters and computing requirements. Ablation studies confirm the effectiveness of our intra- and inter-instance relational knowledge integration strategy. Compared with state-of-the-art knowledge distillation techniques, the proposed method demonstrates improved performances for multi-diseases classification on the large-scale dermoscopy database.
updated: Tue Mar 22 2022 06:54:29 GMT+0000 (UTC)
published: Tue Mar 22 2022 06:54:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト