多発性硬化症(MS)は慢性神経炎症性疾患であり、MS病変を監視するためにマルチモダリティMRIが日常的に使用されています。多くの自動MS病変セグメンテーションモデルが開発され、人間レベルのパフォーマンスに達しています。ただし、ほとんどの確立された方法は、トレーニング中に使用されるMRIモダリティがテスト中にも利用可能であることを前提としています。これは、臨床診療では保証されていません。モダリティドロップアウト(ModDrop)と呼ばれるトレーニング戦略がMS病変セグメンテーションに適用され、欠落しているモダリティの最先端のパフォーマンスを実現しています。任意の数の入力MRIシーケンスに適応する統合ネットワークをトレーニングするためのModDrop++と呼ばれる新しい方法を紹介します。さらに、ModDrop++は既存のモデルアーキテクチャに簡単に適用できます。具体的には、ModDrop++はModDropの主要なアイデアを2つの重要な方法でアップグレードします。まず、プラグアンドプレイのダイナミックヘッドを考案し、フィルタースケーリング戦略を採用してネットワークの表現力を向上させます。次に、完全なモダリティと欠落しているモダリティの間の被験者内の関係を活用するための共同トレーニング戦略を設計します。特に、被験者内共同トレーニング戦略は、動的ヘッドをガイドして、同じ被験者からの完全モダリティデータと欠落モダリティデータの間で同様の特徴表現を生成することを目的としています。 ModDrop ++の優位性を示すために、2つの公開MSデータセットを使用します。ソースコードとトレーニング済みモデルは、https://github.com/han-liu/ModDropPlusPlusで入手できます。
Multiple Sclerosis (MS) is a chronic neuroinflammatory disease and multi-modality MRIs are routinely used to monitor MS lesions. Many automatic MS lesion segmentation models have been developed and have reached human-level performance. However, most established methods assume the MRI modalities used during training are also available during testing, which is not guaranteed in clinical practice. A training strategy termed Modality Dropout (ModDrop) has been applied to MS lesion segmentation to achieve the state-of-the-art performance for missing modality. We present a novel method dubbed ModDrop++ to train a unified network adaptive to an arbitrary number of input MRI sequences. Moreover, ModDrop++ can be easily applied to any existing model architectures. Specifically, ModDrop++ upgrades the main idea of ModDrop in two key ways. First, we devise a plug-and-play dynamic head and adopt a filter scaling strategy to improve the expressiveness of the network. Second, we design a co-training strategy to leverage the intra-subject relation between full modality and missing modality. In particular, the intra-subject co-training strategy aims to guide the dynamic head to generate similar feature representations between the full- and missing-modality data from the same subject. We use two public MS datasets to show the superiority of ModDrop++. Source code and trained models are available at https://github.com/han-liu/ModDropPlusPlus.