arXiv reaDer
HerosNet:スナップショット圧縮イメージングのためのハイパースペクトルの説明可能な再構成と最適なサンプリングディープネットワーク
HerosNet: Hyperspectral Explicable Reconstruction and Optimal Sampling Deep Network for Snapshot Compressive Imaging
ハイパースペクトルイメージングは、特にリモートセンシング、農業、および医療における幅広いアプリケーションに不可欠なイメージングモダリティです。低速、高価、またはかさばる既存のハイパースペクトルカメラに触発されて、低予算のスナップショット測定からハイパースペクトル画像(HSI)を再構築することが広く注目されています。切り捨てられた数値最適化アルゴリズムを固定数のフェーズを持つネットワークにマッピングすることにより、スペクトルスナップショット圧縮センシング(SCI)用の最近のディープアンフォールディングネットワーク(DUN)は目覚ましい成功を収めています。ただし、DUNは、クロスフェーズ機能の相互作用と適応パラメータ調整の欠如によって制限される産業用アプリケーションの範囲に到達するにはほど遠いです。この論文では、ISTA展開フレームワークの下でいくつかのフェーズを含む、HerosNetと呼ばれるSCI用の新しいハイパースペクトルの説明可能な再構成と最適なサンプリングのディープネットワークを提案します。各フェーズは、センシングマトリックスを柔軟にシミュレートし、最急降下ステップのステップサイズを状況に応じて調整し、前のフェーズの隠れた状態を階層的に融合および相互作用して、近位マッピングステップで現在のHSIフレームを効果的に回復できます。同時に、ハードウェアに適した最適なバイナリマスクがエンドツーエンドで学習され、再構成のパフォーマンスがさらに向上します。最後に、HerosNetは、シミュレーションと実際のデータセットの両方で最先端の方法を大幅に上回っていることを検証されています。ソースコードはhttps://github.com/jianzhangcs/HerosNetで入手できます。
Hyperspectral imaging is an essential imaging modality for a wide range of applications, especially in remote sensing, agriculture, and medicine. Inspired by existing hyperspectral cameras that are either slow, expensive, or bulky, reconstructing hyperspectral images (HSIs) from a low-budget snapshot measurement has drawn wide attention. By mapping a truncated numerical optimization algorithm into a network with a fixed number of phases, recent deep unfolding networks (DUNs) for spectral snapshot compressive sensing (SCI) have achieved remarkable success. However, DUNs are far from reaching the scope of industrial applications limited by the lack of cross-phase feature interaction and adaptive parameter adjustment. In this paper, we propose a novel Hyperspectral Explicable Reconstruction and Optimal Sampling deep Network for SCI, dubbed HerosNet, which includes several phases under the ISTA-unfolding framework. Each phase can flexibly simulate the sensing matrix and contextually adjust the step size in the gradient descent step, and hierarchically fuse and interact the hidden states of previous phases to effectively recover current HSI frames in the proximal mapping step. Simultaneously, a hardware-friendly optimal binary mask is learned end-to-end to further improve the reconstruction performance. Finally, our HerosNet is validated to outperform the state-of-the-art methods on both simulation and real datasets by large margins. The source code is available at https://github.com/jianzhangcs/HerosNet.
updated: Mon May 16 2022 17:14:36 GMT+0000 (UTC)
published: Sun Dec 12 2021 13:42:49 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト