識別学習、修復的学習、および敵対的学習は、コンピュータービジョンおよび医用画像における自己監視学習スキームに有益であることが証明されています。ただし、既存の取り組みでは、3値構成での相互の相乗効果が省略されています。これは、深い意味表現学習に大きなメリットをもたらすと考えられます。このビジョンを実現するために、私たちはDiRAを開発しました。これは、識別、復元、および敵対的学習を統一された方法で統合し、ラベルのない医用画像から補完的な視覚情報を共同で収集して、きめ細かい意味表現学習を実現する最初のフレームワークです。私たちの広範な実験は、DiRA(1)が3つの学習要素間の共学習を促進し、臓器、疾患、およびモダリティ全体でより一般化可能な表現をもたらすことを示しています。 (2)完全に監視されたImageNetモデルよりも優れており、小さなデータレジームでの堅牢性が向上し、複数の医用画像アプリケーションにわたる注釈コストが削減されます。 (3)きめ細かい意味表現を学習し、画像レベルの注釈のみで正確な病変の位置特定を容易にします。 (4)最先端の修復的アプローチを強化し、DiRAが統一表現学習の一般的なメカニズムであることを明らかにします。すべてのコードと事前トレーニング済みモデルは、https://github.com/JLiangLab/DiRAで入手できます。
Discriminative learning, restorative learning, and adversarial learning have proven beneficial for self-supervised learning schemes in computer vision and medical imaging. Existing efforts, however, omit their synergistic effects on each other in a ternary setup, which, we envision, can significantly benefit deep semantic representation learning. To realize this vision, we have developed DiRA, the first framework that unites discriminative, restorative, and adversarial learning in a unified manner to collaboratively glean complementary visual information from unlabeled medical images for fine-grained semantic representation learning. Our extensive experiments demonstrate that DiRA (1) encourages collaborative learning among three learning ingredients, resulting in more generalizable representation across organs, diseases, and modalities; (2) outperforms fully supervised ImageNet models and increases robustness in small data regimes, reducing annotation cost across multiple medical imaging applications; (3) learns fine-grained semantic representation, facilitating accurate lesion localization with only image-level annotation; and (4) enhances state-of-the-art restorative approaches, revealing that DiRA is a general mechanism for united representation learning. All code and pre-trained models are available at https: //github.com/JLiangLab/DiRA.