病気を検出するために医療画像に注釈を付ける作業は、多くの場合、面倒で費用がかかります。さらに、特定のタスクに使用できるトレーニング サンプルは一般的に不足しており、バランスが取れていません。これらの条件は、効果的なディープ ニューラル モデルの学習には適していません。したがって、自然画像でトレーニングされたニューラル ネットワークを医用画像ドメインに「転送」するのが一般的です。ただし、このパラダイムは、自然画像データと医用画像データの間に大きなドメイン ギャップがあるため、パフォーマンスが不足しています。これに対処するために、Pre-text Representation Transfer (PRT) という新しい概念を提案します。分類レイヤーを置き換えた後にソース モデルを微調整する従来の転移学習とは対照的に、PRT は元の分類レイヤーを保持し、教師なしのプレテキスト タスクによって表現レイヤーを更新します。このタスクは、注釈を使用せずに (合成ではなく元の) 医用画像を使用して実行されます。これにより、大量のトレーニング データを使用した表現転送が可能になります。この忠実度の高い表現転送により、結果のモデルをより効果的な特徴抽出器として使用できます。さらに、その後、このモデルを使用して従来の転移学習を実行することもできます。モデルを特徴抽出器として活用する場合に備えて、協調表現ベースの分類レイヤーを考案します。このレイヤーの出力を、テキスト転送前のモデルに対して実行される従来の転送学習で誘導されたモデルの予測と融合します。限られた不均衡なデータ分類問題に対する私たちの手法の有用性は、CT ベースの COVID-19 検出のための 5 つの異なるクラス不均衡比についてテストされた 3 つの大規模モデルの広範な 5 倍評価で実証されています。私たちの結果は、提案された方法を使用した従来の転移学習に対する一貫したゲインを示しています。
Annotating medical images for disease detection is often tedious and expensive. Moreover, the available training samples for a given task are generally scarce and imbalanced. These conditions are not conducive for learning effective deep neural models. Hence, it is common to 'transfer' neural networks trained on natural images to the medical image domain. However, this paradigm lacks in performance due to the large domain gap between the natural and medical image data. To address that, we propose a novel concept of Pre-text Representation Transfer (PRT). In contrast to the conventional transfer learning, which fine-tunes a source model after replacing its classification layers, PRT retains the original classification layers and updates the representation layers through an unsupervised pre-text task. The task is performed with (original, not synthetic) medical images, without utilizing any annotations. This enables representation transfer with a large amount of training data. This high-fidelity representation transfer allows us to use the resulting model as a more effective feature extractor. Moreover, we can also subsequently perform the traditional transfer learning with this model. We devise a collaborative representation based classification layer for the case when we leverage the model as a feature extractor. We fuse the output of this layer with the predictions of a model induced with the traditional transfer learning performed over our pre-text transferred model. The utility of our technique for limited and imbalanced data classification problem is demonstrated with an extensive five-fold evaluation for three large-scale models, tested for five different class-imbalance ratios for CT based COVID-19 detection. Our results show a consistent gain over the conventional transfer learning with the proposed method.