arXiv reaDer
DMDC: スナップショット ハイパースペクトル イメージング用のダイナミック マスク ベースのデュアル カメラ設計
DMDC: Dynamic-mask-based dual camera design for snapshot Hyperspectral Imaging
深層学習手法は、符号化開口スナップショットスペクトルイメージング (CASSI) において急速に発展しています。既存の最先端手法 (SOTA) のパラメータと FLOP の数は増加し続けていますが、再構成の精度はゆっくりと向上しています。現在の方法は依然として 2 つの問題に直面しています。 1) 固定マスク コーディングの制限により、空間光変調器 (SLM) の性能が十分に開発されていません。 2) 入力が 1 つであるため、ネットワークのパフォーマンスが制限されます。この論文では、RGB カメラと並行して実行される CASSI システムで構成される、ダイナミック マスク ベースのデュアル カメラ システムを紹介します。まず、システムは RGB 画像に基づいてシーンの空間特徴分布を学習し、次に SLM に各シーンをエンコードするように指示し、最後に RGB 画像と CASSI 画像の両方を再構築のためにネットワークに送信します。さらに、マスクを動的に調整するための小規模な CNN ベースの動的マスク ネットワークと、RGB および CASSI 測定を使用して再構成するためのマルチモーダル再構成ネットワークという 2 つの別個のネットワークで構成される DMDC ネットを設計しました。複数のデータセットに対する広範な実験により、私たちの方法は SOTA と比較して PSNR で 9 dB 以上の改善を達成することが示されています。 (https://github.com/caizeyu1992/DMDC)
Deep learning methods are developing rapidly in coded aperture snapshot spectral imaging (CASSI). The number of parameters and FLOPs of existing state-of-the-art methods (SOTA) continues to increase, but the reconstruction accuracy improves slowly. Current methods still face two problems: 1) The performance of the spatial light modulator (SLM) is not fully developed due to the limitation of fixed Mask coding. 2) The single input limits the network performance. In this paper we present a dynamic-mask-based dual camera system, which consists of an RGB camera and a CASSI system running in parallel. First, the system learns the spatial feature distribution of the scene based on the RGB images, then instructs the SLM to encode each scene, and finally sends both RGB and CASSI images to the network for reconstruction. We further designed the DMDC-net, which consists of two separate networks, a small-scale CNN-based dynamic mask network for dynamic adjustment of the mask and a multimodal reconstruction network for reconstruction using RGB and CASSI measurements. Extensive experiments on multiple datasets show that our method achieves more than 9 dB improvement in PSNR over the SOTA. (https://github.com/caizeyu1992/DMDC)
updated: Thu Aug 03 2023 05:10:58 GMT+0000 (UTC)
published: Thu Aug 03 2023 05:10:58 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト