マルチモダリティ医用画像は、ターゲット(臓器、腫瘍、または組織)に関連する補完的な解剖学的情報を提供できます。マルチモダリティ画像を共通の空間に登録することで、これらの包括的な情報を融合し、臨床応用の利便性をもたらすことができます。最近、登録方法を後押しするためにニューラルネットワークが広く研究されています。ただし、ネットワークトレーニングの堅牢な基準がないため、マルチモダリティ登録ネットワークの開発は依然として困難です。その上、ほとんどの既存の登録ネットワークは主にペアワイズ登録に焦点を合わせており、複数の画像シナリオに適用することはほとんどできません。この作業では、異なるモダリティを持つ複数の画像をターゲット画像に共同で登録できるマルチモダリティ登録ネットワーク(MMRegNet)を提案します。一方、教師なし方法でMMRegNetをトレーニングするために、空間的にエンコードされた勾配情報を提示します。提案されたネットワークは、MM-WHS2017とCHAOS2019の2つのデータセットで評価されました。結果は、提案されたネットワークが心臓の左心室と肝臓の登録タスクで有望なパフォーマンスを達成できることを示しています。ソースコードはgithubで公開されています。
Multi-modality medical images can provide relevant and complementary anatomical information for a target (organ, tumor or tissue). Registering the multi-modality images to a common space can fuse these comprehensive information, and bring convenience for clinical application. Recently, neural networks have been widely investigated to boost registration methods. However, it is still challenging to develop a multi-modality registration network due to the lack of robust criteria for network training. Besides, most existing registration networks mainly focus on pairwise registration, and can hardly be applicable for multiple image scenarios. In this work, we propose a multi-modality registration network (MMRegNet), which can jointly register multiple images with different modalities to a target image. Meanwhile, we present spatially encoded gradient information to train the MMRegNet in an unsupervised manner. The proposed network was evaluated on two datasets, i.e, MM-WHS 2017 and CHAOS 2019. The results show that the proposed network can achieve promising performance for cardiac left ventricle and liver registration tasks. Source code is released publicly on github.