高い注釈コストは、最新の深層学習アーキテクチャを臨床的に関連する医療ユースケースに適用する際の大きなボトルネックであり、ラベルのないデータから学習するための新しいアルゴリズムの必要性を実証しています。この作業では、ラベルのない医用画像と遺伝子データの大規模なデータセットから学習できる自己監視方式であるContIGを提案します。私たちのアプローチは、対照的な損失を使用して、特徴空間内の画像といくつかの遺伝的モダリティを調整します。利用可能なモダリティが個人間で異なる場合でも、同じモデル内の個々の個人の複数のモダリティをエンドツーエンドで統合する方法を設計します。私たちの手順は、評価されたすべてのダウンストリームベンチマークタスクで、最先端の自己監視方式よりも優れています。また、画像と遺伝的モダリティの間で学習されたクロスモーダル関連をよりよく理解するために、勾配ベースの説明可能性アルゴリズムを適応させます。最後に、モデルによって学習された機能についてゲノムワイド関連解析を実行し、画像と遺伝子データの間の興味深い関係を明らかにします。
High annotation costs are a substantial bottleneck in applying modern deep learning architectures to clinically relevant medical use cases, substantiating the need for novel algorithms to learn from unlabeled data. In this work, we propose ContIG, a self-supervised method that can learn from large datasets of unlabeled medical images and genetic data. Our approach aligns images and several genetic modalities in the feature space using a contrastive loss. We design our method to integrate multiple modalities of each individual person in the same model end-to-end, even when the available modalities vary across individuals. Our procedure outperforms state-of-the-art self-supervised methods on all evaluated downstream benchmark tasks. We also adapt gradient-based explainability algorithms to better understand the learned cross-modal associations between the images and genetic modalities. Finally, we perform genome-wide association studies on the features learned by our models, uncovering interesting relationships between images and genetic data.