arXiv reaDer
マルチモーダルブースト:ウェーブレット変換を備えたマルチアテンションネットワークを使用したマルチモーダル医用画像の超解像
Multimodal-Boost: Multimodal Medical Image Super-Resolution using Multi-Attention Network with Wavelet Transform
マルチモーダル医用画像は、非侵襲的な方法で高解像度画像から補足情報を分析および取得するために、臨床医や医師によって広く使用されています。対応する画像解像度が失われると、医用画像診断の全体的なパフォーマンスが低下します。ディープラーニングベースの単一画像超解像(SISR)アルゴリズムは、低解像度画像の畳み込みニューラルネットワーク(CNN)に関連するアーキテクチャコンポーネントとトレーニング戦略を継続的に改善することにより、診断フレームワーク全体に革命をもたらしました。ただし、既存の作業には2つの点がありません。i)生成されたSR出力はテクスチャの詳細が不十分であり、エッジがぼやけていることがよくあります。ii)ほとんどのモデルは単一のモダリティ用に開発されているため、新しいモダリティに適応するには変更が必要です。 。この作業は、(i)低頻度データから高頻度情報を学習するための深いマルチアテンションモジュールを備えた生成的敵対的ネットワーク(GAN)を提案することによって対処します。 GANに基づく既存のアプローチは、良好なSR結果をもたらしました。ただし、SR出力のテクスチャの詳細は、特に医用画像では不十分であることが実験的に確認されています。提案されたSRモデルへのウェーブレット変換(WT)とGANの統合は、テキストンに関する前述の制限に対処します。 WTはLR画像を複数の周波数帯域に分割し、転送されたGANは複数のアテンションブロックとアップサンプルブロックを利用して高周波成分を予測します。さらに、知覚損失関数としてドメイン固有の分類器をトレーニングするための学習手法を提示します。マルチアテンションGAN損失と知覚損失関数を組み合わせると、信頼性が高く効率的なパフォーマンスが得られます。多様なモダリティからの医用画像に同じモデルを適用することは困難です。私たちの仕事は、(ii)転移学習を介していくつかのモダリティをトレーニングし、実行することによって対処します。
Multimodal medical images are widely used by clinicians and physicians to analyze and retrieve complementary information from high-resolution images in a non-invasive manner. The loss of corresponding image resolution degrades the overall performance of medical image diagnosis. Deep learning based single image super resolution (SISR) algorithms has revolutionized the overall diagnosis framework by continually improving the architectural components and training strategies associated with convolutional neural networks (CNN) on low-resolution images. However, existing work lacks in two ways: i) the SR output produced exhibits poor texture details, and often produce blurred edges, ii) most of the models have been developed for a single modality, hence, require modification to adapt to a new one. This work addresses (i) by proposing generative adversarial network (GAN) with deep multi-attention modules to learn high-frequency information from low-frequency data. Existing approaches based on the GAN have yielded good SR results; however, the texture details of their SR output have been experimentally confirmed to be deficient for medical images particularly. The integration of wavelet transform (WT) and GANs in our proposed SR model addresses the aforementioned limitation concerning textons. The WT divides the LR image into multiple frequency bands, while the transferred GAN utilizes multiple attention and upsample blocks to predict high-frequency components. Moreover, we present a learning technique for training a domain-specific classifier as a perceptual loss function. Combining multi-attention GAN loss with a perceptual loss function results in a reliable and efficient performance. Applying the same model for medical images from diverse modalities is challenging, our work addresses (ii) by training and performing on several modalities via transfer learning.
updated: Fri Oct 22 2021 10:13:46 GMT+0000 (UTC)
published: Fri Oct 22 2021 10:13:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト