arXiv reaDer
Semi-weakly Supervised Contrastive Representation Learning for Retinal Fundus Images
医用画像の転送可能な表現を学習する際の弱いラベルの価値を探ります。手作業でラベル付けされたデータセットと比較して、弱いラベルまたは不正確なラベルは、大幅に低いコストで大量に取得でき、ディープニューラルネットワークなどのデータを大量に消費するモデルに有用なトレーニング信号を提供できます。疑似ラベルの形で弱いラベルを検討し、半弱く注釈付きの画像を使用した表現学習のための半弱く監視された対照学習(SWCL)フレームワークを提案します。具体的には、半教師ありモデルをトレーニングして、さまざまな画像レベルの注釈で構成される小さなデータセットからラベルのない大きなデータセットにラベルを伝播します。伝播されたラベルを使用して、事前トレーニング用のパッチレベルのデータセットを生成し、マルチラベルの対照的な学習目標を作成して、各パッチでエンコードされた位置固有の機能をキャプチャします。 3つの疾患分類タスクと2つの解剖学的構造セグメンテーションタスクをカバーする7つの公開網膜眼底データセットでSWCLの転移学習パフォーマンスを経験的に検証します。私たちの実験結果は、非常に低いデータ体制の下で、改善されたアーキテクチャに関する大規模なImageNet事前トレーニングが非常に強力なベースラインのままであり、最近提案された自己監視法が、おそらく強い不変制約が課せられたために、セグメンテーションタスクで失敗することを示唆しています。私たちの方法は、ImageNetの事前トレーニングでギャップを埋めながら、以前のすべての自己教師あり方法と標準のクロスエントロピートレーニングを上回ります。
We explore the value of weak labels in learning transferable representations for medical images. Compared to hand-labeled datasets, weak or inexact labels can be acquired in large quantities at significantly lower cost and can provide useful training signals for data-hungry models such as deep neural networks. We consider weak labels in the form of pseudo-labels and propose a semi-weakly supervised contrastive learning (SWCL) framework for representation learning using semi-weakly annotated images. Specifically, we train a semi-supervised model to propagate labels from a small dataset consisting of diverse image-level annotations to a large unlabeled dataset. Using the propagated labels, we generate a patch-level dataset for pretraining and formulate a multi-label contrastive learning objective to capture position-specific features encoded in each patch. We empirically validate the transfer learning performance of SWCL on seven public retinal fundus datasets, covering three disease classification tasks and two anatomical structure segmentation tasks. Our experiment results suggest that, under very low data regime, large-scale ImageNet pretraining on improved architecture remains a very strong baseline, and recently proposed self-supervised methods falter in segmentation tasks, possibly due to the strong invariant constraint imposed. Our method surpasses all prior self-supervised methods and standard cross-entropy training, while closing the gaps with ImageNet pretraining.
updated: Wed Aug 04 2021 15:50:09 GMT+0000 (UTC)
published: Wed Aug 04 2021 15:50:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト