この論文は、磁気共鳴(MR)画像から合成コンピュータ断層撮影(CT)画像を生成することを目指しています。合成CT画像は、MR画像しか利用できない場合の放射線治療計画に役立ちます。最近のアプローチは、MR入力からCT出力へのマッピングを学習する畳み込みニューラルネットワークを使用して、この困難な合成問題を解決する上で大きな進歩を遂げました。この論文では、既存のすべてのアプローチに共通の制限があることがわかりました。再構成は、CT画像の高周波部分とその周辺で機能しなくなります。この一般的な制限に対処するために、周波数監視ありディープネットワークを導入して、高周波MRからCTへの画像再構成を明示的に強化します。予測されたCT出力を低周波数成分と高周波数成分に分解することを学習する周波数分解層を提案し、高周波敵対学習を通じて高周波再構成を改善するための改良モジュールを導入します。 45ペアの3DMR-CT脳画像を使用した新しいデータセットでの実験結果は、提案されたアプローチの有効性と可能性を示しています。コードはhttps://github.com/shizenglin/Frequency-Supervised-MR-to-CT-Image-Synthesisで入手できます。
This paper strives to generate a synthetic computed tomography (CT) image from a magnetic resonance (MR) image. The synthetic CT image is valuable for radiotherapy planning when only an MR image is available. Recent approaches have made large strides in solving this challenging synthesis problem with convolutional neural networks that learn a mapping from MR inputs to CT outputs. In this paper, we find that all existing approaches share a common limitation: reconstruction breaks down in and around the high-frequency parts of CT images. To address this common limitation, we introduce frequency-supervised deep networks to explicitly enhance high-frequency MR-to-CT image reconstruction. We propose a frequency decomposition layer that learns to decompose predicted CT outputs into low- and high-frequency components, and we introduce a refinement module to improve high-frequency reconstruction through high-frequency adversarial learning. Experimental results on a new dataset with 45 pairs of 3D MR-CT brain images show the effectiveness and potential of the proposed approach. Code is available at https://github.com/shizenglin/Frequency-Supervised-MR-to-CT-Image-Synthesis.