arXiv reaDer
コード化された圧縮イメージングプロセスを備えたエンドツーエンドのハイパースペクトルイメージングシステム
End to end hyperspectral imaging system with coded compression imaging process
ハイパースペクトル画像(HSI)は、広範なアプリケーションの見通しを備えた豊富な空間およびスペクトル情報を提供できます。最近、畳み込みニューラルネットワーク(CNN)を使用してHSIを再構築するいくつかの方法が開発されました。ただし、ほとんどの深層学習方法は、圧縮HSIと標準HSIの間のブルートフォースマッピング関係に適合します。したがって、観測データがトレーニングデータから逸脱している場合、学習されたマッピングは無効になります。 2次元圧縮画像から3次元HSIを復元するために、コード化開口スナップショットスペクトルイメージングシステムに基づく物理情報に基づく自己監視CNN法を備えたデュアルカメラ機器を紹介します。私たちの方法は、コード化されたスペクトル情報からの空間スペクトル相対化を効果的に活用し、カメラの量子効果モデルに基づいた自己監視システムを形成します。実験結果は、我々の方法が良好な性能で広いイメージング環境に適応できることを示しています。さらに、ほとんどのネットワークベースの方法と比較して、私たちのシステムは事前トレーニングのための専用データセットを必要としません。したがって、シナリオの適応性と一般化能力が向上します。一方、私たちのシステムは、実際のシナリオで常に微調整し、自己改善することができます。
Hyperspectral images (HSIs) can provide rich spatial and spectral information with extensive application prospects. Recently, several methods using convolutional neural networks (CNNs) to reconstruct HSIs have been developed. However, most deep learning methods fit a brute-force mapping relationship between the compressive and standard HSIs. Thus, the learned mapping would be invalid when the observation data deviate from the training data. To recover the three-dimensional HSIs from two-dimensional compressive images, we present dual-camera equipment with a physics-informed self-supervising CNN method based on a coded aperture snapshot spectral imaging system. Our method effectively exploits the spatial-spectral relativization from the coded spectral information and forms a self-supervising system based on the camera quantum effect model. The experimental results show that our method can be adapted to a wide imaging environment with good performance. In addition, compared with most of the network-based methods, our system does not require a dedicated dataset for pre-training. Therefore, it has greater scenario adaptability and better generalization ability. Meanwhile, our system can be constantly fine-tuned and self-improved in real-life scenarios.
updated: Mon Sep 06 2021 13:39:54 GMT+0000 (UTC)
published: Mon Sep 06 2021 13:39:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト