arXiv reaDer
シングルショットコード化画像による動的ライトフィールドの取得
Acquiring a Dynamic Light Field through a Single-Shot Coded Image
シングルショット符号化画像(2次元測定)を介して動的ライトフィールド(5次元ボリューム)を圧縮的に取得する方法を提案します。単一の露光時間内にアパーチャコーディングとピクセル単位の露光コーディングを同期的に適用するイメージングモデルを設計しました。このコーディングスキームにより、元の情報を単一の観察画像に効果的に埋め込むことができます。観測された画像は、カメラ側のコーディングパターンと共同でトレーニングされるライトフィールド再構成のために畳み込みニューラルネットワーク(CNN)に送られます。また、時間の経過とともに移動する実際の3Dシーンをキャプチャするためのハードウェアプロトタイプも開発しました。単一の観測画像から、4つの時間サブフレーム(合計100ビュー)にわたって5x5の視点を持つ動的ライトフィールドを取得することに成功しました。時間の経過とともにキャプチャと再構築のプロセスを繰り返すことで、カメラの4倍のフレームレートで動的なライトフィールドを取得できます。私たちの知る限り、私たちの方法は、圧縮ライトフィールド取得においてカメラ自体よりも細かい時間分解能を達成する最初の方法です。当社のソフトウェアは、プロジェクトのWebページから入手できます。
We propose a method for compressively acquiring a dynamic light field (a 5-D volume) through a single-shot coded image (a 2-D measurement). We designed an imaging model that synchronously applies aperture coding and pixel-wise exposure coding within a single exposure time. This coding scheme enables us to effectively embed the original information into a single observed image. The observed image is then fed to a convolutional neural network (CNN) for light-field reconstruction, which is jointly trained with the camera-side coding patterns. We also developed a hardware prototype to capture a real 3-D scene moving over time. We succeeded in acquiring a dynamic light field with 5x5 viewpoints over 4 temporal sub-frames (100 views in total) from a single observed image. Repeating capture and reconstruction processes over time, we can acquire a dynamic light field at 4x the frame rate of the camera. To our knowledge, our method is the first to achieve a finer temporal resolution than the camera itself in compressive light-field acquisition. Our software is available from our project webpage
updated: Tue Apr 26 2022 06:00:02 GMT+0000 (UTC)
published: Tue Apr 26 2022 06:00:02 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト