arXiv reaDer
グラフベースのセルフチューニングネットワークを介したキャリブレーションされたハイパースペクトル画像の再構成
Calibrated Hyperspectral Image Reconstruction via Graph-based Self-Tuning Network
最近、ハイパースペクトルイメージング(HSI)は、特に符号化開口スナップショットスペクトルイメージング(CASSI)システムに基づくものについて、ますます研究の注目を集めています。既存のディープHSI再構成モデルは、一般にペアデータでトレーニングされ、CASSIの特定の光学ハードウェアマスクによって与えられた2D圧縮測定で元の信号を取得します。この間、マスクは再構成のパフォーマンスに大きく影響し、データを管理する「モデルハイパーパラメータ」として機能します。拡張。このマスク固有のトレーニングスタイルは、ハードウェアの誤校正の問題につながり、さまざまなハードウェアやノイズの多い環境にディープHSIモデルを展開する際の障壁となります。この課題に対処するために、完全な変分ベイズ学習処理を使用してHSIのマスクの不確実性を導入し、実際のハードウェアに触発されたマスク分解によって明示的にモデル化します。具体的には、異なるハードウェア間でマスクのさまざまな空間構造に適応する不確実性を推論するために、新しいグラフベースのセルフチューニング(GST)ネットワークを提案します。さらに、マスクのハイパーパラメータプロパティを考慮して、HSIの再構築と不確実性の推定のバランスをとるための2レベルの最適化フレームワークを開発します。広範な実験結果とモデルの議論により、2つのミスキャリブレーションシナリオで提案されたGSTメソッドの有効性(33/30 dB以上)が検証され、最先端の適切にキャリブレーションされたメソッドと比較して非常に競争力のあるパフォーマンスが実証されます。コードと事前トレーニング済みモデルは、https://github.com/Jiamian-Wang/mask_uncertainty_spectral_SCIで入手できます。
Recently, hyperspectral imaging (HSI) has attracted increasing research attention, especially for the ones based on a coded aperture snapshot spectral imaging (CASSI) system. Existing deep HSI reconstruction models are generally trained on paired data to retrieve original signals upon 2D compressed measurements given by a particular optical hardware mask in CASSI, during which the mask largely impacts the reconstruction performance and could work as a "model hyperparameter" governing on data augmentations. This mask-specific training style will lead to a hardware miscalibration issue, which sets up barriers to deploying deep HSI models among different hardware and noisy environments. To address this challenge, we introduce mask uncertainty for HSI with a complete variational Bayesian learning treatment and explicitly model it through a mask decomposition inspired by real hardware. Specifically, we propose a novel Graph-based Self-Tuning (GST) network to reason uncertainties adapting to varying spatial structures of masks among different hardware. Moreover, we develop a bilevel optimization framework to balance HSI reconstruction and uncertainty estimation, accounting for the hyperparameter property of masks. Extensive experimental results and model discussions validate the effectiveness (over 33/30 dB) of the proposed GST method under two miscalibration scenarios and demonstrate a highly competitive performance compared with the state-of-the-art well-calibrated methods. Our code and pre-trained model are available at https://github.com/Jiamian-Wang/mask_uncertainty_spectral_SCI
updated: Tue Jan 04 2022 02:46:48 GMT+0000 (UTC)
published: Fri Dec 31 2021 09:39:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト