arXiv reaDer
言葉では言い表せないマルチモーダル空間エバリュエーター
Indescribable Multi-modal Spatial Evaluator
マルチモーダル イメージ レジストレーションは、異なる分布を持つ 2 つのイメージを空間的に位置合わせします。その主な課題の 1 つは、異なるイメージング マシンから取得した画像が異なるイメージング分布を持っているため、画像の空間的側面のみに注目して分布の違いを無視することが困難になることです。この研究では、マルチモーダル画像レジストレーションに対処するために、自己教師ありアプローチである Indescribable Multi-model Spatial Evaluator (IMSE) を開発しました。 IMSE は、正確なマルチモーダル空間エバリュエーターを作成して 2 つの画像間の空間差を測定し、エバリュエーターの予測誤差を最小限に抑えることで位置合わせを最適化します。 IMSE のパフォーマンスを最適化するために、Shuffle Remap と呼ばれる新しいスタイル拡張方法も提案しました。これは、画像分布を複数のセグメントにランダム化し、これらのセグメントをランダムに乱して再マッピングすることで、元の画像の分布が変更されるようにします。 Shuffle Remap は、IMSE が目に見えないターゲット分布から空間位置の違いを予測するのに役立ちます。私たちの結果は、IMSE が T1-T2 および CT-MRI データセットを使用した既存の登録方法よりも優れていることを示しています。 IMSE は、従来の登録プロセスに簡単に統合することもでき、登録結果を評価および視覚化する便利な方法を提供できます。 IMSE は、画像から画像への変換の新しいパラダイムとして使用される可能性もあります。コードは https://github.com/Kid-Liet/IMSE で入手できます。
Multi-modal image registration spatially aligns two images with different distributions. One of its major challenges is that images acquired from different imaging machines have different imaging distributions, making it difficult to focus only on the spatial aspect of the images and ignore differences in distributions. In this study, we developed a self-supervised approach, Indescribable Multi-model Spatial Evaluator (IMSE), to address multi-modal image registration. IMSE creates an accurate multi-modal spatial evaluator to measure spatial differences between two images, and then optimizes registration by minimizing the error predicted of the evaluator. To optimize IMSE performance, we also proposed a new style enhancement method called Shuffle Remap which randomizes the image distribution into multiple segments, and then randomly disorders and remaps these segments, so that the distribution of the original image is changed. Shuffle Remap can help IMSE to predict the difference in spatial location from unseen target distributions. Our results show that IMSE outperformed the existing methods for registration using T1-T2 and CT-MRI datasets. IMSE also can be easily integrated into the traditional registration process, and can provide a convenient way to evaluate and visualize registration results. IMSE also has the potential to be used as a new paradigm for image-to-image translation. Our code is available at https://github.com/Kid-Liet/IMSE.
updated: Thu Mar 02 2023 01:23:23 GMT+0000 (UTC)
published: Wed Mar 01 2023 09:50:39 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト