arXiv reaDer
学習した回折光学系を使用したシングルショットハイパースペクトル深度イメージング
Single-shot Hyperspectral-Depth Imaging with Learned Diffractive Optics
イメージングの深さとスペクトルは、何十年にもわたって互いに分離して広く研究されてきました。最近、ハイパースペクトル深度(HS-D)イメージングが登場し、2つの異なるイメージングシステムを組み合わせることで両方の情報を同時にキャプチャします。 1つは深度用、もう1つはスペクトル用です。この組み合わせアプローチは正確ですが、フォームファクター、コスト、キャプチャ時間、および位置合わせ/登録の問題を引き起こします。この作業では、組み合わせの原理から逸脱して、コンパクトなシングルショット単眼HS-Dイメージング法を提案します。私たちの方法は、回折光学素子(DOE)を使用します。その点像分布関数は、深さとスペクトルの両方に関して変化します。これにより、単一のキャプチャ画像からスペクトルと深度を再構築できます。この目的のために、自動微分によって共同で最適化される微分可能なシミュレーターとニューラルネットワークベースの再構成を開発します。 DOEの学習を容易にするために、高品質のグラウンドトゥルースを取得するベンチトップHS-Dイメージャを構築することにより、最初のHS-Dデータセットを提示します。実験プロトタイプを作成することにより、合成実験と実際の実験で方法を評価し、最先端のHS-Dイメージング結果を達成します。
Imaging depth and spectrum have been extensively studied in isolation from each other for decades. Recently, hyperspectral-depth (HS-D) imaging emerges to capture both information simultaneously by combining two different imaging systems; one for depth, the other for spectrum. While being accurate, this combinational approach induces increased form factor, cost, capture time, and alignment/registration problems. In this work, departing from the combinational principle, we propose a compact single-shot monocular HS-D imaging method. Our method uses a diffractive optical element (DOE), the point spread function of which changes with respect to both depth and spectrum. This enables us to reconstruct spectrum and depth from a single captured image. To this end, we develop a differentiable simulator and a neural-network-based reconstruction that are jointly optimized via automatic differentiation. To facilitate learning the DOE, we present a first HS-D dataset by building a benchtop HS-D imager that acquires high-quality ground truth. We evaluate our method with synthetic and real experiments by building an experimental prototype and achieve state-of-the-art HS-D imaging results.
updated: Sun Aug 15 2021 11:26:30 GMT+0000 (UTC)
published: Tue Sep 01 2020 14:19:35 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト