3Dハイパースペクトル画像(HSI)再構成の研究は、スナップショット圧縮イメージングの逆プロセスを指します。このプロセスでは、光学システム、たとえばコード化開口スナップショットスペクトルイメージング(CASSI)システムが、3D空間スペクトル信号をキャプチャしてエンコードします。 2D測定。エンドツーエンドの再構築のために多くの洗練されたニューラルネットワークが作成されていますが、パフォーマンス、効率(トレーニングと推論時間)、および実現可能性(限られたGPUメモリで高解像度HSIを復元する機能)の間でトレードオフを行う必要があります。 。これは、上記の要件を共同で満たすための新しいベースラインを設計するという課題を引き起こします。この論文では、空間/スペクトル不変残余U-Net、つまりSSI-ResU-Netを提案することにより、この空白を埋めます。 U-Netとの違いは、1)スケール/スペクトル不変学習、2)ネストされた残余学習、3)計算効率の3つです。これらの3つのモジュールの恩恵を受けて、提案されたSSI-ResU-Netは、現在の最先端の方法であるTSA-NetよりもPSNRで3 dB以上、SSIMで0.036を上回り、トレーニング可能なパラメーターは2.82%しか使用していません。 SSI-ResU-Netは、浮動小数点演算(FLOP)の点で77.3%を超える削減で競合するパフォーマンスを最大限に実現し、実際のアプリケーションシナリオで初めて高解像度のHSI再構築を実現します。コードと事前トレーニング済みモデルは、https://github.com/Jiamian-Wang/HSI_baselineで入手できます。
The study of 3D hyperspectral image (HSI) reconstruction refers to the inverse process of snapshot compressive imaging, during which the optical system, e.g., the coded aperture snapshot spectral imaging (CASSI) system, captures the 3D spatial-spectral signal and encodes it to a 2D measurement. While numerous sophisticated neural networks have been elaborated for end-to-end reconstruction, trade-offs still need to be made among performance, efficiency (training and inference time), and feasibility (the ability of restoring high resolution HSI on limited GPU memory). This raises a challenge to design a new baseline to conjointly meet the above requirements. In this paper, we fill in this blank by proposing a Spatial/Spectral Invariant Residual U-Net, namely SSI-ResU-Net. It differentiates with U-Net in three folds--1) scale/spectral-invariant learning, 2) nested residual learning, and 3) computational efficiency. Benefiting from these three modules, the proposed SSI-ResU-Net outperforms the current state-of-the-art method TSA-Net by over 3 dB in PSNR and 0.036 in SSIM while only using 2.82% trainable parameters. To the greatest extent, SSI-ResU-Net achieves competing performance with over 77.3% reduction in terms of floating-point operations (FLOPs), which for the first time, makes high-resolution HSI reconstruction feasible under practical application scenarios. Code and pre-trained models are made available at https://github.com/Jiamian-Wang/HSI_baseline.