arXiv reaDer
物理学の情報に基づく学習によるデュアルカメラスナップショットハイパースペクトルイメージングシステム
Dual camera snapshot hyperspectral imaging system via physics informed learning
畳み込みニューラルネットワーク(CNN)を使用したシステムの光学イメージングプロセスを使用して、スナップショットハイパースペクトルイメージング再構成問題を解決することを検討します。この問題は、デュアルカメラシステムを使用して3次元ハイパースペクトル画像(HSI)を圧縮された方法でキャプチャします。近年、CNNを使用してHSIを再構築するさまざまな方法が開発されていますが、教師あり深層学習方法のほとんどは、キャプチャされた圧縮画像と標準HSIの間のブルートフォースマッピング関係に適合することを目的としています。したがって、観測データがトレーニングデータから逸脱している場合、学習されたマッピングは無効になります。特に、実際のシナリオでは通常、グラウンドトゥルースはありません。この論文では、物理学に基づいたCNNフレームワークのトレーニングを受けていない自己監視型デュアルカメラ機器を紹介します。広範なシミュレーションと実験結果は、トレーニングなしの私たちの方法が、優れた性能で広いイメージング環境に適応できることを示しています。さらに、トレーニングベースの方法と比較して、私たちのシステムは、実際のシナリオで常に微調整され、自己改善される可能性があります。
We consider using the system's optical imaging process with convolutional neural networks (CNNs) to solve the snapshot hyperspectral imaging reconstruction problem, which uses a dual-camera system to capture the three-dimensional hyperspectral images (HSIs) in a compressed way. Various methods using CNNs have been developed in recent years to reconstruct HSIs, but most of the supervised deep learning methods aimed to fit a brute-force mapping relationship between the captured compressed image and standard HSIs. Thus, the learned mapping would be invalid when the observation data deviate from the training data. Especially, we usually don't have ground truth in real-life scenarios. In this paper, we present a self-supervised dual-camera equipment with an untrained physics-informed CNNs framework. Extensive simulation and experimental results show that our method without training can be adapted to a wide imaging environment with good performance. Furthermore, compared with the training-based methods, our system can be constantly fine-tuned and self-improved in real-life scenarios.
updated: Wed Nov 17 2021 09:26:46 GMT+0000 (UTC)
published: Mon Sep 06 2021 13:39:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト