arXiv reaDer
Unified Multi-Modal Image Synthesis for Missing Modality Imputation
マルチモーダル医療画像は、疾患のスクリーニングと診断に役立つ補完的な軟組織特性を提供します。ただし、スキャン時間の制限、画像の破損、およびさまざまなイメージング プロトコルにより、マルチモーダル画像が不完全になることが多く、臨床目的でのマルチモーダル データの使用が制限されます。この問題に対処するために、この論文では、失われたモダリティ代入のための新しい統合マルチモーダル画像合成方法を提案します。私たちの方法は全体として、生成的な敵対的アーキテクチャを採用しています。これは、単一のモデルを使用して、利用可能なモダリティの任意の組み合わせから不足しているモダリティを合成することを目的としています。この目的のために、ジェネレーターがモダリティ不変情報と入力モダリティに含まれる特定の情報の両方を活用するための共通性と不一致に敏感なエンコーダーを特別に設計します。両方のタイプの情報を組み込むことで、一貫した解剖学と目的の分布の現実的な詳細を備えた画像の生成が容易になります。さらに、さまざまな数の利用可能なモダリティからの情報を統合する動的機能統合モジュールを提案します。これにより、ランダムに欠落しているモダリティに対してネットワークを堅牢にすることができます。このモジュールはハード統合とソフト統合の両方を実行し、情報の損失を回避しながら機能の組み合わせの有効性を保証します。 2つの公開マルチモーダル磁気共鳴データセットで検証された提案された方法は、さまざまな合成タスクの処理に効果的であり、以前の方法と比較して優れたパフォーマンスを示しています。
Multi-modal medical images provide complementary soft-tissue characteristics that aid in the screening and diagnosis of diseases. However, limited scanning time, image corruption and various imaging protocols often result in incomplete multi-modal images, thus limiting the usage of multi-modal data for clinical purposes. To address this issue, in this paper, we propose a novel unified multi-modal image synthesis method for missing modality imputation. Our method overall takes a generative adversarial architecture, which aims to synthesize missing modalities from any combination of available ones with a single model. To this end, we specifically design a Commonality- and Discrepancy-Sensitive Encoder for the generator to exploit both modality-invariant and specific information contained in input modalities. The incorporation of both types of information facilitates the generation of images with consistent anatomy and realistic details of the desired distribution. Besides, we propose a Dynamic Feature Unification Module to integrate information from a varying number of available modalities, which enables the network to be robust to random missing modalities. The module performs both hard integration and soft integration, ensuring the effectiveness of feature combination while avoiding information loss. Verified on two public multi-modal magnetic resonance datasets, the proposed method is effective in handling various synthesis tasks and shows superior performance compared to previous methods.
updated: Tue Jul 09 2024 09:01:20 GMT+0000 (UTC)
published: Tue Apr 11 2023 16:59:15 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト