arXiv reaDer
高速MRイメージングのためのマルチモーダルアグリゲーションネットワーク
Multi-modal Aggregation Network for Fast MR Imaging
磁気共鳴(MR)イメージングは、病気の検出、診断、治療の監視に一般的に使用されるスキャン技術です。臓器や組織の詳細な画像をより良いコントラストで生成することはできますが、取得時間が長くなるため、モーションアーティファクトなどの画質に脆弱になります。最近、MRイメージングを加速するために、部分的に観察された測定値からフルサンプル画像を再構成するための多くのアプローチが開発されました。ただし、これらの取り組みのほとんどは、単一のモダリティでの再構築または複数のモダリティの単純な融合に焦点を当てており、さまざまな機能レベルでの相関知識の発見を無視しています。この作業では、MANetという名前の新しいマルチモーダルアグリゲーションネットワークを提案します。これは、完全にサンプリングされた補助モダリティから補完的な表現を検出でき、特定のターゲットモダリティの再構築を階層的にガイドします。私たちのMANetでは、完全にサンプリングされた補助モダリティとアンダーサンプリングされたターゲットモダリティからの表現は、特定のネットワークを介して独立して学習されます。次に、ガイド付き注意モジュールが各畳み込みステージに導入され、マルチモーダル特徴を選択的に集約して再構築を改善し、包括的でマルチスケールのマルチモーダル特徴の融合を実現します。さらに、MANetはハイブリッドドメイン学習フレームワークに従っており、k空間ドメインの周波数信号を同時に回復すると同時に、画像ドメインから画像の詳細を復元することができます。広範な実験は、最先端のMR画像再構成法に対する提案されたアプローチの優位性を示しています。
Magnetic resonance (MR) imaging is a commonly used scanning technique for disease detection, diagnosis and treatment monitoring. Although it is able to produce detailed images of organs and tissues with better contrast, it suffers from a long acquisition time, which makes the image quality vulnerable to say motion artifacts. Recently, many approaches have been developed to reconstruct full-sampled images from partially observed measurements in order to accelerate MR imaging. However, most of these efforts focus on reconstruction over a single modality or simple fusion of multiple modalities, neglecting the discovery of correlation knowledge at different feature level. In this work, we propose a novel Multi-modal Aggregation Network, named MANet, which is capable of discovering complementary representations from a fully sampled auxiliary modality, with which to hierarchically guide the reconstruction of a given target modality. In our MANet, the representations from the fully sampled auxiliary and undersampled target modalities are learned independently through a specific network. Then, a guided attention module is introduced in each convolutional stage to selectively aggregate multi-modal features for better reconstruction, yielding comprehensive, multi-scale, multi-modal feature fusion. Moreover, our MANet follows a hybrid domain learning framework, which allows it to simultaneously recover the frequency signal in the k-space domain as well as restore the image details from the image domain. Extensive experiments demonstrate the superiority of the proposed approach over state-of-the-art MR image reconstruction methods.
updated: Fri Oct 15 2021 13:16:59 GMT+0000 (UTC)
published: Fri Oct 15 2021 13:16:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト