ディープラーニングを使用した皮膚病変認識は目覚ましい進歩を遂げており、これらのシステムを現実世界のシナリオに導入するニーズが高まっています。しかし、最近の研究では、皮膚病変認識のためのディープニューラルネットワークが疾患に関係のない画像アーティファクト(つまり、暗い角、密な毛)に過度に依存しており、目に見えない環境では一般化が不十分である可能性があることが明らかになりました。この問題に対処するために、我々は EPVT と呼ばれる新しいドメイン一般化手法を提案します。この手法には、ビジョン トランスフォーマーにプロンプトを埋め込んで、多様なドメインからの知識を共同で学習することが含まれます。具体的には、EPVT は一連のドメイン プロンプトを活用し、それぞれがドメインの専門家として役割を果たし、ドメイン固有の知識を取得します。データセット全体に関する一般的な知識を求める共有プロンプト。知識の共有とさまざまなプロンプトの相互作用を促進するために、ドメイン プロンプトと共有プロンプトの間で低ランクの乗算更新を可能にするドメイン プロンプト ジェネレーターを導入します。さらに、各ドメインで同時に発生するアーティファクトを減らすためにドメイン混合戦略が考案されており、これにより、より柔軟な意思決定マージンが可能になり、誤って割り当てられたドメイン ラベルの問題が軽減されます。 4 つの分布外データセットと 6 つの異なる偏りのある ISIC データセットでの実験により、さまざまな環境にわたる皮膚病変認識における EPVT の優れた一般化能力が実証されました。コードは https://github.com/SiyuanYan1/EPVT で入手できます。
Skin lesion recognition using deep learning has made remarkable progress, and there is an increasing need for deploying these systems in real-world scenarios. However, recent research has revealed that deep neural networks for skin lesion recognition may overly depend on disease-irrelevant image artifacts (i.e., dark corners, dense hairs), leading to poor generalization in unseen environments. To address this issue, we propose a novel domain generalization method called EPVT, which involves embedding prompts into the vision transformer to collaboratively learn knowledge from diverse domains. Concretely, EPVT leverages a set of domain prompts, each of which plays as a domain expert, to capture domain-specific knowledge; and a shared prompt for general knowledge over the entire dataset. To facilitate knowledge sharing and the interaction of different prompts, we introduce a domain prompt generator that enables low-rank multiplicative updates between domain prompts and the shared prompt. A domain mixup strategy is additionally devised to reduce the co-occurring artifacts in each domain, which allows for more flexible decision margins and mitigates the issue of incorrectly assigned domain labels. Experiments on four out-of-distribution datasets and six different biased ISIC datasets demonstrate the superior generalization ability of EPVT in skin lesion recognition across various environments. Code is avaliable at https://github.com/SiyuanYan1/EPVT.