マルチモーダル画像アラインメントは、異種データの融合と相関分析を容易にするために、異なるイメージング技術によって、または異なる条件下で形成された画像間の空間的対応を見つけるプロセスです。相互情報量(MI)の情報理論的概念は、マルチモーダルアライメントプロセスをガイドするための類似性の尺度として広く使用されています。ほとんどの作業は、通常は小さな変位に対してのみ適切に機能するMIの局所最大化に焦点を当てています。これは、MIのグローバルな最大化の必要性を示しています。これは、既存のアルゴリズムの実行時の複雑さが高いため、以前は計算上実行不可能でした。周波数領域で計算された相互相関に基づく、すべての離散変位(相互情報量関数(CMIF)として形式化)のMIを計算するための効率的なアルゴリズムを提案します。アルゴリズムが直接法と同等である一方で、実行時間の点で漸近的に優れていることを示します。さらに、提案されたCMIFアルゴリズムに基づいて、自由度が少ない(たとえば剛体)変換モデルのマルチモーダル画像位置合わせの方法を提案します。航空画像、細胞学的画像、組織学的画像の3つの異なるベンチマークデータセットで提案された方法の有効性を評価し、MIの局所最適化を含む、代替方法よりも全体的に優れた成功率(既知の剛体変換の回復)を観察します。いくつかの最近の深層学習ベースのアプローチと同様に。また、提案されたアルゴリズムのGPU実装の実行時間を評価し、直接法のGPU実装と比較して、現実的な画像サイズで100倍から10,000倍以上のスピードアップを観察します。コードはgithub.com/MIDA-group/globalignでオープンソースとして共有されています。
Multimodal image alignment is the process of finding spatial correspondences between images formed by different imaging techniques or under different conditions, to facilitate heterogeneous data fusion and correlative analysis. The information-theoretic concept of mutual information (MI) is widely used as a similarity measure to guide multimodal alignment processes, where most works have focused on local maximization of MI that typically works well only for small displacements; this points to a need for global maximization of MI, which has previously been computationally infeasible due to the high run-time complexity of existing algorithms. We propose an efficient algorithm for computing MI for all discrete displacements (formalized as the cross-mutual information function (CMIF)), which is based on cross-correlation computed in the frequency domain. We show that the algorithm is equivalent to a direct method while asymptotically superior in terms of run-time. Furthermore, we propose a method for multimodal image alignment for transformation models with few degrees of freedom (e.g. rigid) based on the proposed CMIF-algorithm. We evaluate the efficacy of the proposed method on three distinct benchmark datasets, of aerial images, cytological images, and histological images, and we observe excellent success-rates (in recovering known rigid transformations), overall outperforming alternative methods, including local optimization of MI as well as several recent deep learning-based approaches. We also evaluate the run-times of a GPU implementation of the proposed algorithm and observe speed-ups from 100 to more than 10,000 times for realistic image sizes compared to a GPU implementation of a direct method. Code is shared as open-source at github.com/MIDA-group/globalign.