臨床ワークフローの主な永続的な焦点は疾患の分析と診断であり、モダリティとアノテーションが特定の臨床目的に強く結びついている医療画像データセットにつながります。これまでのところ、タスク固有のセグメンテーション モデルの構築は直感的ではありますが、限定的なアプローチであり、広範な画像コホートから得られる洞察が不足しています。私たちは研修医のトレーニングに触発されて、普遍的な医用画像セグメンテーションを探求します。その目標は、さまざまな臨床対象、身体部位、画像モダリティをカバーする多様な医用画像ソースから学習することです。このパラダイムに従って、提案されたユニバーサルパラダイムにおけるデータ、モダリティ、および注釈の異質性に関連する課題に対処するコンテキスト事前学習アプローチであるヘルメスを提案します。 7 つの多様なデータセットのコレクションで、従来のタスク固有のトレーニング パラダイムに対するユニバーサル パラダイムの魅力的なメリットを実証します。さまざまなタスク間の相乗効果を活用することで、Hermes は優れたパフォーマンスとモデルのスケーラビリティを示します。追加の 2 つのデータセットに関する詳細な調査により、Hermes の転移学習、増分学習、およびさまざまな下流タスクへの一般化に対する強力な機能が明らかになりました。コードは https://github.com/yhygao/universal-medical-image-segmentation から入手できます。
A major enduring focus of clinical workflows is disease analytics and diagnosis, leading to medical imaging datasets where the modalities and annotations are strongly tied to specific clinical objectives. To date, building task-specific segmentation models is intuitive yet a restrictive approach, lacking insights gained from widespread imaging cohorts. Inspired by the training of medical residents, we explore universal medical image segmentation, whose goal is to learn from diverse medical imaging sources covering a range of clinical targets, body regions, and image modalities. Following this paradigm, we propose Hermes, a context prior learning approach that addresses the challenges related to the heterogeneity on data, modality, and annotations in the proposed universal paradigm. In a collection of seven diverse datasets, we demonstrate the appealing merits of the universal paradigm over the traditional task-specific training paradigm. By leveraging the synergy among various tasks, Hermes shows superior performance and model scalability. Our in-depth investigation on two additional datasets reveals Hermes' strong capabilities for transfer learning, incremental learning, and generalization to different downstream tasks. The code is available: https://github.com/yhygao/universal-medical-image-segmentation.