arXiv reaDer
病理学とシーケンス条件付き安定拡散を使用したバイパラメトリック前立腺 MR 画像合成
Bi-parametric prostate MR image synthesis using pathology and sequence-conditioned stable diffusion
テキストで調整されたマルチシーケンス前立腺 MR 画像の画像合成メカニズムを提案し、病変の存在とシーケンスを制御し、画像で調整されたペアのバイパラメトリック画像を生成します。たとえば、T2 強調 MR から拡散強調 MR を生成します。これは、病理学的画像合成における 2 つの困難なタスクです。提案されたメカニズムは、ペアデータ生成のための画像ベースの調整を提案することにより、最近の安定した拡散モデルを利用および構築します。実際の前立腺癌の疑いのある患者からの 2D 画像スライスを使用して、この方法を検証します。合成画像のリアリズムは、実際の画像と偽の画像を識別するための盲目的な専門家評価によって検証されます。この場合、泌尿器科の MR を読んだ 4 年の経験を持つ放射線科医は、テストされたすべてのシーケンスで 59.4% の精度しか達成しません (確率は 50%)。初めて、疑わしい病変の存在を専門家が盲目的に識別することにより、生成された病理のリアリズムを評価します。ここで、臨床医は実際の画像と合成画像の両方に対して同様に実行し、病変識別精度の差は 2.9% であることがわかりました。実際の画像と合成された画像は、放射線のトレーニング目的での可能性を示しています。さらに、病変識別用にトレーニングされた機械学習モデルは、実際の画像のみを使用したトレーニングとは対照的に、合成データによって増強された実際のデータを使用してトレーニングされた場合に、より優れたパフォーマンス (76.2% 対 70.4%、統計的に有意な改善) を示すことも示し、有用性を示しています。モデルトレーニング用。
We propose an image synthesis mechanism for multi-sequence prostate MR images conditioned on text, to control lesion presence and sequence, as well as to generate paired bi-parametric images conditioned on images e.g. for generating diffusion-weighted MR from T2-weighted MR for paired data, which are two challenging tasks in pathological image synthesis. Our proposed mechanism utilises and builds upon the recent stable diffusion model by proposing image-based conditioning for paired data generation. We validate our method using 2D image slices from real suspected prostate cancer patients. The realism of the synthesised images is validated by means of a blind expert evaluation for identifying real versus fake images, where a radiologist with 4 years experience reading urological MR only achieves 59.4% accuracy across all tested sequences (where chance is 50%). For the first time, we evaluate the realism of the generated pathology by blind expert identification of the presence of suspected lesions, where we find that the clinician performs similarly for both real and synthesised images, with a 2.9 percentage point difference in lesion identification accuracy between real and synthesised images, demonstrating the potentials in radiological training purposes. Furthermore, we also show that a machine learning model, trained for lesion identification, shows better performance (76.2% vs 70.4%, statistically significant improvement) when trained with real data augmented by synthesised data as opposed to training with only real images, demonstrating usefulness for model training.
updated: Fri Mar 03 2023 17:24:39 GMT+0000 (UTC)
published: Fri Mar 03 2023 17:24:39 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト