拡散モデルは、モード カバレッジや高い柔軟性などの興味深い特性を備えた、高品質のサンプルを備えた新しい最先端の生成モデルとして登場しました。また、それらは効果的な逆問題ソルバーであることが示されており、分布の事前分布として機能しますが、順方向モデルの情報はサンプリング段階で付与できます。それにもかかわらず、生成プロセスは同じ高次元 (つまり、データ次元と同じ) 空間にとどまるため、メモリと計算コストが非常に高くなるため、モデルは 3D 逆問題に拡張されていません。この論文では、従来のモデルベースの反復再構成のアイデアを最新の拡散モデルと組み合わせて、スパース ビュー トモグラフィー、限定角度トモグラフィー、圧縮センシング MRI などの 3D 医用画像再構成タスクを解決するための非常に効果的な方法を導き出します。事前トレーニング済みの 2D 拡散モデルから。本質的に、すべての次元にわたってコヒーレントな再構成を実現できるように、テスト時に残りの方向でモデルベースの事前分布を使用して 2D 拡散事前分布を増強することを提案します。私たちの方法は単一のコモディティ GPU で実行でき、新しい最先端技術を確立し、提案された方法が最も極端な場合でも高い忠実度と精度の再構成を実行できることを示します (例: 2 ビュー 3D トモグラフィー)。 .さらに、提案された方法の一般化能力は驚くほど高く、トレーニング データセットとはまったく異なるボリュームを再構築するために使用できることを明らかにします。
Diffusion models have emerged as the new state-of-the-art generative model with high quality samples, with intriguing properties such as mode coverage and high flexibility. They have also been shown to be effective inverse problem solvers, acting as the prior of the distribution, while the information of the forward model can be granted at the sampling stage. Nonetheless, as the generative process remains in the same high dimensional (i.e. identical to data dimension) space, the models have not been extended to 3D inverse problems due to the extremely high memory and computational cost. In this paper, we combine the ideas from the conventional model-based iterative reconstruction with the modern diffusion models, which leads to a highly effective method for solving 3D medical image reconstruction tasks such as sparse-view tomography, limited angle tomography, compressed sensing MRI from pre-trained 2D diffusion models. In essence, we propose to augment the 2D diffusion prior with a model-based prior in the remaining direction at test time, such that one can achieve coherent reconstructions across all dimensions. Our method can be run in a single commodity GPU, and establishes the new state-of-the-art, showing that the proposed method can perform reconstructions of high fidelity and accuracy even in the most extreme cases (e.g. 2-view 3D tomography). We further reveal that the generalization capacity of the proposed method is surprisingly high, and can be used to reconstruct volumes that are entirely different from the training dataset.