この作業は、静的な患者スキャンからリアルな解剖学的変形を生成することを目的としています。具体的には、変形可能な画像登録 (DIR) アルゴリズムを検証し、より正確な深層学習ベースの DIR を駆動するためのグラウンド トゥルースを提供する深層学習主導の呼吸運動シミュレーションを介して、これらの変形/増強を生成する方法を提示します。 4D-CT 画像から学習し、静的 CT 画像から将来の呼吸相を予測する、新しい 3D Seq2Seq 深層学習呼吸運動シミュレーター (RMSim) を紹介します。異なる呼吸フェーズでの時変変位ベクトル場 (DVF) で表される予測呼吸パターンは、1D 呼吸トレースの補助入力を介して変調されるため、トレースの振幅が大きいほど、予測される変形がより大きくなります。積み重ねられた 3D-ConvLSTM は、時空間呼吸パターンをキャプチャするために使用されます。トレーニング ロスには、DVF の滑らかさのロスと、予測された位相イメージとグラウンド トゥルース フェーズ イメージの間の平均二乗誤差が含まれます。空間トランスフォーマーは、予測された DVF を使用して静的 CT を変形し、予測された位相画像を生成します。 RMSim のトレーニングとテストには、140 人の内部患者の 10 フェーズ 4D-CT が使用されました。次に、トレーニング済みの RMSim を使用して、VoxelMorph をトレーニングするための公開 DIR チャレンジ データセットを増強し、RMSim によって生成された変形増強の有効性を示しました。プライベートとパブリックの両方のベンチマーク データセット (健康な患者とがん患者) を使用して、RMSim の出力を検証しました。提案されたアプローチは、DIR アルゴリズムの検証だけでなく、深層学習 DIR アルゴリズムを改善するための患者固有の増強にも使用できます。コード、事前トレーニング済みモデル、拡張 DIR 検証データセットは、https://github.com/nadeemlab/SeqX2Y でリリースされます。
This work aims to generate realistic anatomical deformations from static patient scans. Specifically, we present a method to generate these deformations/augmentations via deep learning driven respiratory motion simulation that provides the ground truth for validating deformable image registration (DIR) algorithms and driving more accurate deep learning based DIR. We present a novel 3D Seq2Seq deep learning respiratory motion simulator (RMSim) that learns from 4D-CT images and predicts future breathing phases given a static CT image. The predicted respiratory patterns, represented by time-varying displacement vector fields (DVFs) at different breathing phases, are modulated through auxiliary inputs of 1D breathing traces so that a larger amplitude in the trace results in more significant predicted deformation. Stacked 3D-ConvLSTMs are used to capture the spatial-temporal respiration patterns. Training loss includes a smoothness loss in the DVF and mean-squared error between the predicted and ground truth phase images. A spatial transformer deforms the static CT with the predicted DVF to generate the predicted phase image. 10-phase 4D-CTs of 140 internal patients were used to train and test RMSim. The trained RMSim was then used to augment a public DIR challenge dataset for training VoxelMorph to show the effectiveness of RMSim-generated deformation augmentation. We validated our RMSim output with both private and public benchmark datasets (healthy and cancer patients). The proposed approach can be used for validating DIR algorithms as well as for patient-specific augmentations to improve deep learning DIR algorithms. The code, pretrained models, and augmented DIR validation datasets will be released at https://github.com/nadeemlab/SeqX2Y.