arXiv reaDer
Dehazing-NeRF: かすんでいる画像からのニューラル ラディアンス フィールド
Dehazing-NeRF: Neural Radiance Fields from Hazy Images
Neural Radiance Field (NeRF) は、3D シーンの再構成と新しいビュー合成の印象的な高品質により、近年大きな注目を集めています。ただし、大気中の粒子による大気光と物体光の散乱によって引き起こされる画像の劣化は、かすんだ状態でシーンを撮影するときに再構成品質を大幅に低下させる可能性があります。この問題に対処するために、かすんだ画像入力から明確な NeRF を回復できる方法である Dehazing-NeRF を提案します。私たちの方法は、大気散乱モデルを使用してぼやけた画像の物理的画像処理プロセスをシミュレートし、画像のかすみ除去と新しいビュー合成の両方のために、大気散乱モデルとクリーンな NeRF モデルを共同で学習します。以前のアプローチとは異なり、Dehazing-NeRF は入力としてかすみ画像のみを使用する教師なしの方法であり、手動で設計されたかすみ除去の優先順位にも依存しません。 NeRF 3Dシーンから推定された深度を大気散乱モデルと組み合わせることにより、提案されたモデルは、幾何学的な一貫性を維持しながら、単一画像のかすみ除去の不適切な問題を解決します。さらに、情報の損失によって引き起こされる画質の低下を軽減するために、モデルのトレーニング プロセス中に、ソフト マージンの一貫性の正則化、および大気の一貫性とコントラストの識別損失が処理されます。広範な実験により、私たちの方法は、画像のかすみ除去と新しいビュー画像合成の両方で、単一画像のかすみ除去と NeRF の単純な組み合わせよりも優れていることが示されています。
Neural Radiance Field (NeRF) has received much attention in recent years due to the impressively high quality in 3D scene reconstruction and novel view synthesis. However, image degradation caused by the scattering of atmospheric light and object light by particles in the atmosphere can significantly decrease the reconstruction quality when shooting scenes in hazy conditions. To address this issue, we propose Dehazing-NeRF, a method that can recover clear NeRF from hazy image inputs. Our method simulates the physical imaging process of hazy images using an atmospheric scattering model, and jointly learns the atmospheric scattering model and a clean NeRF model for both image dehazing and novel view synthesis. Different from previous approaches, Dehazing-NeRF is an unsupervised method with only hazy images as the input, and also does not rely on hand-designed dehazing priors. By jointly combining the depth estimated from the NeRF 3D scene with the atmospheric scattering model, our proposed model breaks through the ill-posed problem of single-image dehazing while maintaining geometric consistency. Besides, to alleviate the degradation of image quality caused by information loss, soft margin consistency regularization, as well as atmospheric consistency and contrast discriminative loss, are addressed during the model training process. Extensive experiments demonstrate that our method outperforms the simple combination of single-image dehazing and NeRF on both image dehazing and novel view image synthesis.
updated: Sat Apr 22 2023 17:09:05 GMT+0000 (UTC)
published: Sat Apr 22 2023 17:09:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト