arXiv reaDer
ニューラルトランジェントフィールドを介した見通し外イメージング
Non-line-of-Sight Imaging via Neural Transient Fields
Non-Line-of-Sight(NLOS)イメージング用のニューラルモデリングフレームワークを紹介します。以前のソリューションは、非表示のシーンの3Dジオメトリ(たとえば、点群として)またはボクセル密度(たとえば、事前定義されたボリューム内)を明示的に復元しようとしていました。対照的に、最近の神経放射輝度フィールド(NeRF)アプローチに触発されて、多層パーセプトロン(MLP)を使用して神経過渡フィールドまたはNeTFを表します。ただし、NeTFは、線に沿った放射輝度ではなく、球面波面のトランジェントを測定します。したがって、共焦点と非共焦点の両方のセットアップに適用できる球形ボリュームのNeTF再構成パイプラインを作成します。 NeRFと比較して、NeTFは非常にまばらな視点のセット(スキャンスポット)をサンプリングし、サンプリングは非常に不均一です。したがって、再構成のロバスト性を改善するためのモンテカルロ法を導入します。合成データセットと実際のデータセットに関する包括的な実験は、NeTFがより高品質の再構築を提供し、最先端技術にほとんど欠けている細部を保持していることを示しています。
We present a neural modeling framework for Non-Line-of-Sight (NLOS) imaging. Previous solutions have sought to explicitly recover the 3D geometry (e.g., as point clouds) or voxel density (e.g., within a pre-defined volume) of the hidden scene. In contrast, inspired by the recent Neural Radiance Field (NeRF) approach, we use a multi-layer perceptron (MLP) to represent the neural transient field or NeTF. However, NeTF measures the transient over spherical wavefronts rather than the radiance along lines. We therefore formulate a spherical volume NeTF reconstruction pipeline, applicable to both confocal and non-confocal setups. Compared with NeRF, NeTF samples a much sparser set of viewpoints (scanning spots) and the sampling is highly uneven. We thus introduce a Monte Carlo technique to improve the robustness in the reconstruction. Comprehensive experiments on synthetic and real datasets demonstrate NeTF provides higher quality reconstruction and preserves fine details largely missing in the state-of-the-art.
updated: Tue Sep 14 2021 02:30:39 GMT+0000 (UTC)
published: Sat Jan 02 2021 05:20:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト