画像間の類似性を学習することは、3D 医用画像の自己教師あり事前トレーニングにとって非常に重要です。これは、それらが多数の同じセマンティック領域を共有しているためです。ただし、メトリクスにおけるセマンティック プライアの欠如と 3D 医用画像におけるセマンティックに依存しない変動により、画像間の類似性の信頼できる測定値を取得することが難しくなり、同じセマンティクスの一貫した表現の学習が妨げられます。このタスクの困難な問題、つまり、同じ意味的特徴のクラスタリング効果について画像間の一貫した表現を学習することを調査します。新しい視覚的類似性学習パラダイムである幾何学的視覚的類似性学習を提案します。これは、意味領域の一貫した表現のための画像間類似性の測定に位相不変性の事前確率を埋め込みます。このパラダイムを推進するために、新しい幾何学的マッチングヘッドであるZマッチングヘッドをさらに構築して、セマンティック領域のグローバルおよびローカルの類似性を共同で学習し、さまざまなスケールレベルの画像間セマンティック機能の効率的な表現学習を導きます。私たちの実験は、画像間の類似性の学習による事前トレーニングが、4 つの困難な 3D 医用画像タスクで、より強力なシーン内、シーン間、およびグローバル - ローカル転送能力をもたらすことを示しています。コードと事前トレーニング済みのモデルは、https://github.com/YutingHe-list/GVSL で公開されます。
Learning inter-image similarity is crucial for 3D medical images self-supervised pre-training, due to their sharing of numerous same semantic regions. However, the lack of the semantic prior in metrics and the semantic-independent variation in 3D medical images make it challenging to get a reliable measurement for the inter-image similarity, hindering the learning of consistent representation for same semantics. We investigate the challenging problem of this task, i.e., learning a consistent representation between images for a clustering effect of same semantic features. We propose a novel visual similarity learning paradigm, Geometric Visual Similarity Learning, which embeds the prior of topological invariance into the measurement of the inter-image similarity for consistent representation of semantic regions. To drive this paradigm, we further construct a novel geometric matching head, the Z-matching head, to collaboratively learn the global and local similarity of semantic regions, guiding the efficient representation learning for different scale-level inter-image semantic features. Our experiments demonstrate that the pre-training with our learning of inter-image similarity yields more powerful inner-scene, inter-scene, and global-local transferring ability on four challenging 3D medical image tasks. Our codes and pre-trained models will be publicly available on https://github.com/YutingHe-list/GVSL.