arXiv reaDer
自己監視型カリキュラムディープラーニングアプローチによる皮膚病変認識の改善
Improved skin lesion recognition by a Self-Supervised Curricular Deep Learning approach
皮膚病変認識のための最先端の深層学習アプローチでは、皮膚病変イメージングデータセットのサイズの縮小に由来する一般化の制限を克服するために、より大きく、より多様なデータセットでの事前トレーニングが必要になることがよくあります。 ImageNetは事前トレーニングデータセットとしてよく使用されますが、その転送の可能性は、ソースデータセットとターゲットダーモスコピーシナリオの間のドメインギャップによって妨げられます。この作業では、一連の自己監視学習口実タスクを順次トレーニングし、ラベルのない皮膚病変のイメージングデータのみを必要とする新しい事前トレーニングアプローチを紹介します。口実のタスクカリキュラムを定義する順序を確立するための簡単な方法論を提示します。マルチクラスの皮膚病変分類問題とISIC-2019データセットについて、次のことを示す実験的証拠を提供します:i)口実タスクのカリキュラムによって事前トレーニングされたモデルは、個々の口実タスクによって事前トレーニングされたモデルよりも優れています。最適な口実タスクカリキュラムは、ImageNetで事前にトレーニングされたモデルよりも優れています。このパフォーマンスの向上は、口実タスクのカリキュラムが最終モデルの注意を皮膚病変に集中させるという事実に関連していることを示しています。この戦略により、パフォーマンスの向上に加えて、ImageNetの事前トレーニングに関してトレーニング時間を大幅に短縮できます。これは、特定の問題に合わせて調整されたネットワークアーキテクチャに特に有利です。
State-of-the-art deep learning approaches for skin lesion recognition often require pretraining on larger and more varied datasets, to overcome the generalization limitations derived from the reduced size of the skin lesion imaging datasets. ImageNet is often used as the pretraining dataset, but its transferring potential is hindered by the domain gap between the source dataset and the target dermatoscopic scenario. In this work, we introduce a novel pretraining approach that sequentially trains a series of Self-Supervised Learning pretext tasks and only requires the unlabeled skin lesion imaging data. We present a simple methodology to establish an ordering that defines a pretext task curriculum. For the multi-class skin lesion classification problem, and ISIC-2019 dataset, we provide experimental evidence showing that: i) a model pretrained by a curriculum of pretext tasks outperforms models pretrained by individual pretext tasks, and ii) a model pretrained by the optimal pretext task curriculum outperforms a model pretrained on ImageNet. We demonstrate that this performance gain is related to the fact that the curriculum of pretext tasks better focuses the attention of the final model on the skin lesion. Beyond performance improvement, this strategy allows for a large reduction in the training time with respect to ImageNet pretraining, which is especially advantageous for network architectures tailored for a specific problem.
updated: Wed Dec 22 2021 17:45:47 GMT+0000 (UTC)
published: Wed Dec 22 2021 17:45:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト