ハイパースペクトル(HS)とマルチスペクトル(MS)の画像融合は、低空間解像度のHS画像と低スペクトル解像度のMS画像から高解像度のスペクトル画像を推定することを目的としています。圧縮スペクトルイメージング(CSI)は、スナップショットの数を減らしてスペクトル画像の関連情報をキャプチャする取得フレームワークとして登場しました。マルチセンサーCSI測定からのさまざまなスペクトル画像融合法が提案されています。それにもかかわらず、これらの方法は実行時間が長く、表現変換を選択するという欠点に直面します。この作業では、HSおよびMS圧縮測定からの融合問題を解決するために、アルゴリズム展開アプローチの下での深層学習アーキテクチャが提案されています。 LADMM-Netと呼ばれるこのアーキテクチャは、乗数の交互方向法の線形化バージョンの各反復を、連結が深いネットワークを形成する処理層にキャストします。線形化されたアプローチは、高価な行列演算に頼ることなく、ターゲット変数を推定することにつながります。このアプローチでは、補助変数とラグランジュ乗数の両方に含まれる画像の高周波成分も推定されます。提案された技術の性能は、2つのスペクトル画像データベースと実験室でキャプチャされた1つのデータセットで評価されます。広範なシミュレーションは、提案された方法が、圧縮データからのスペクトル画像を融合する最先端のアプローチよりも優れていることを示しています。
Hyperspectral (HS) and multispectral (MS) image fusion aims at estimating a high-resolution spectral image from a low-spatial-resolution HS image and a low-spectral-resolution MS image. Compressive spectral imaging (CSI) has emerged as an acquisition framework that captures the relevant information of spectral images using a reduced number of snapshots. Various spectral image fusion methods from multi-sensor CSI measurements have been proposed. Nevertheless, these methods exhibit high running times and face the drawback of choosing a representation transform. In this work, a deep learning architecture under the algorithm unrolling approach is proposed for solving the fusion problem from HS and MS compressive measurements. This architecture, dubbed LADMM-Net, casts each iteration of a linearized version of the alternating direction method of multipliers into a processing layer whose concatenation forms a deep network. The linearized approach leads to estimate the target variable without resorting to expensive matrix operations. This approach also estimates the image high-frequency component included in both the auxiliary variable and the Lagrange multiplier. The performance of the proposed technique is evaluated on two spectral image databases and one dataset captured at the laboratory. Extensive simulations show that the proposed method outperforms the state-of-the-art approaches that fuse spectral images from compressive data.