1セットの医用画像でトレーニングされたディープニューラルネットワーク(DNN)は、トレーニング画像(ソースドメイン)とテスト画像(ターゲットドメイン)の間のさまざまなドメインの不一致により、目に見えないテスト画像で深刻なパフォーマンスの低下を経験することがよくあります。問題。臨床現場では、注釈付きのターゲットドメインデータを短期間で十分に収集することは困難です。この場合、少数ショットのドメイン適応、つまり、トレーニングされたモデルを少数の注釈で適応させることは、非常に実用的で便利です。この論文では、ポリモーフィックトランスフォーマー(Polyformer)を提案します。これは、数ショットのドメイン適応のために任意のDNNバックボーンに組み込むことができます。具体的には、ポリフォーマーレイヤーがソースドメインでトレーニングされたモデルに挿入された後、ソースドメイン機能の「基礎」と見なすことができるプロトタイプ埋め込みのセットを抽出します。ターゲットドメインでは、ポリフォーマーレイヤーは、画像の特徴とプロトタイプの埋め込みの間の相互作用を制御する投影レイヤーを更新するだけで適応します。他のすべてのモデルの重み(BatchNormパラメーターを除く)は、適応中に凍結されます。したがって、注釈が過剰適合する可能性が大幅に減少し、モデルは、いくつかの注釈付き画像でトレーニングされた後、ターゲットドメインで堅牢に実行できます。 2つの医療セグメンテーションタスク(つまり、視神経乳頭/カップセグメンテーションとポリープセグメンテーション)に対するPolyformerの有効性を示します。 Polyformerのソースコードはhttps://github.com/askerlee/segtranでリリースされています。
Deep neural networks (DNNs) trained on one set of medical images often experience severe performance drop on unseen test images, due to various domain discrepancy between the training images (source domain) and the test images (target domain), which raises a domain adaptation issue. In clinical settings, it is difficult to collect enough annotated target domain data in a short period. Few-shot domain adaptation, i.e., adapting a trained model with a handful of annotations, is highly practical and useful in this case. In this paper, we propose a Polymorphic Transformer (Polyformer), which can be incorporated into any DNN backbones for few-shot domain adaptation. Specifically, after the polyformer layer is inserted into a model trained on the source domain, it extracts a set of prototype embeddings, which can be viewed as a "basis" of the source-domain features. On the target domain, the polyformer layer adapts by only updating a projection layer which controls the interactions between image features and the prototype embeddings. All other model weights (except BatchNorm parameters) are frozen during adaptation. Thus, the chance of overfitting the annotations is greatly reduced, and the model can perform robustly on the target domain after being trained on a few annotated images. We demonstrate the effectiveness of Polyformer on two medical segmentation tasks (i.e., optic disc/cup segmentation, and polyp segmentation). The source code of Polyformer is released at https://github.com/askerlee/segtran.