arXiv reaDer
Spatio-Temporal Convolutional LSTMs for Tumor Growth Prediction by Learning 4D Longitudinal Patient Data
  体積医療画像観察による予後腫瘍成長モデリングは、潜在的に腫瘍治療と外科計画のより良い結果につながる可能性があります。畳み込みネットワークの最近の進歩は、将来の腫瘍体積の予測において、従来の数学的モデルよりも高い精度を実証しています。これは、深層学習ベースの手法がこのような問題に対処する上で大きな可能性を秘めていることを示しています。ただし、現在の2Dパッチベースのモデリングアプローチでは、腫瘍の縦4D(3D +時間)データの時空間イメージングコンテキストを十分に活用できません。さらに、体積以外の臨床的に関連する腫瘍特性を予測することはできません。このホワイトペーパーでは、腫瘍の静的な画像の外観を抽出し、単一のネットワーク内でその一時的な動的変化をキャプチャする畳み込み長期短期記憶(ConvLSTM)を通じて腫瘍成長プロセスを定式化するために活用します。複数の患者研究からスライス間3Dコンテキストと縦方向または時間的ダイナミクスを共同で学習することにより、ConvLSTMを時空間ドメイン(ST-ConvLSTM)に拡張します。私たちのアプローチでは、他の非イメージング患者情報をエンドツーエンドのトレーニング可能な方法で組み込むことができます。これまでに33人の患者の最大の4D縦方向腫瘍データセットで実験が行われました。結果は、ST-ConvLSTMが83.2%+-5.1%のDiceスコアと11.2%+-10.8%のRVDを生成し、両方とも線形モデル、ConvLSTM、および生成的敵対的ネットワークの他の比較方法を大幅に上回る(p <0.05)ことを検証します(GAN)将来の腫瘍体積を予測するメトリックの下。さらに、新しい方法により、細胞密度とCT強度の両方の予測が可能になります。最後に、ST-ConvLSTMを4D医用画像セグメンテーションタスクで使用することにより、ST-ConvLSTMの汎用性を実証します。これにより、患者あたり3秒の4D超音波の左心室セグメンテーションの平均ダイススコア86.3 + -1.2%を達成します。
Prognostic tumor growth modeling via volumetric medical imaging observations can potentially lead to better outcomes of tumor treatment and surgical planning. Recent advances of convolutional networks have demonstrated higher accuracy than traditional mathematical models in predicting future tumor volumes. This indicates that deep learning-based techniques may have great potentials on addressing such problem. However, current 2D patch-based modeling approaches cannot make full use of the spatio-temporal imaging context of the tumor's longitudinal 4D (3D + time) data. Moreover, they are incapable to predict clinically-relevant tumor properties, other than volumes. In this paper, we exploit to formulate the tumor growth process through convolutional Long Short-Term Memory (ConvLSTM) that extract tumor's static imaging appearances and capture its temporal dynamic changes within a single network. We extend ConvLSTM into the spatio-temporal domain (ST-ConvLSTM) by jointly learning the inter-slice 3D contexts and the longitudinal or temporal dynamics from multiple patient studies. Our approach can incorporate other non-imaging patient information in an end-to-end trainable manner. Experiments are conducted on the largest 4D longitudinal tumor dataset of 33 patients to date. Results validate that the ST-ConvLSTM produces a Dice score of 83.2%+-5.1% and a RVD of 11.2%+-10.8%, both significantly outperforming (p<0.05) other compared methods of linear model, ConvLSTM, and generative adversarial network (GAN) under the metric of predicting future tumor volumes. Additionally, our new method enables the prediction of both cell density and CT intensity numbers. Last, we demonstrate the generalizability of ST-ConvLSTM by employing it in 4D medical image segmentation task, which achieves an averaged Dice score of 86.3+-1.2% for left-ventricle segmentation in 4D ultrasound with 3 seconds per patient.
updated: Mon Sep 23 2019 18:59:14 GMT+0000 (UTC)
published: Sat Feb 23 2019 02:05:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト