arXiv reaDer
エアライトと散乱係数推定による散乱媒体のディープマルチビューステレオのデヘイズコストボリューム
Dehazing Cost Volume for Deep Multi-view Stereo in Scattering Media with Airlight and Scattering Coefficient Estimation
霧や煙などの散乱媒体における学習ベースのマルチビューステレオ(MVS)法を、デヘイズコストボリュームと呼ばれる新しいコストボリュームで提案します。散乱媒体でキャプチャされた画像は、浮遊粒子によって引き起こされる光散乱と減衰のために劣化します。この劣化はシーンの深さに依存します。したがって、3次元(3D)再構成の前に深度が不明であるため、従来のMVSメソッドで測光の一貫性を評価することは困難です。ヘイズ除去コストボリュームは、コストボリューム内の掃引平面を使用して散乱効果を計算することにより、深度推定と画像復元のこの鶏が先か卵が先かという問題を解決できます。また、デヘイズコストボリュームに必要な、エアライトなどの散乱パラメータや散乱係数を推定する方法を提案します。ヘイズ除去コストボリュームを使用したネットワークの出力深度は、これらのパラメーターの関数と見なすことができます。したがって、これらは、モーションからの構造のステップで取得されたスパース3Dポイントクラウドを使用して幾何学的に最適化されます。合成されたかすんでいる画像の実験結果は、散乱媒体に関する通常のコストボリュームに対する私たちのかすみ除去コストボリュームの有効性を示しています。また、実際の霧のシーンへのデヘイズコストボリュームの適用可能性を示しました。
We propose a learning-based multi-view stereo (MVS) method in scattering media, such as fog or smoke, with a novel cost volume, called the dehazing cost volume. Images captured in scattering media are degraded due to light scattering and attenuation caused by suspended particles. This degradation depends on scene depth; thus, it is difficult for traditional MVS methods to evaluate photometric consistency because the depth is unknown before three-dimensional (3D) reconstruction. The dehazing cost volume can solve this chicken-and-egg problem of depth estimation and image restoration by computing the scattering effect using swept planes in the cost volume. We also propose a method of estimating scattering parameters, such as airlight, and a scattering coefficient, which are required for our dehazing cost volume. The output depth of a network with our dehazing cost volume can be regarded as a function of these parameters; thus, they are geometrically optimized with a sparse 3D point cloud obtained at a structure-from-motion step. Experimental results on synthesized hazy images indicate the effectiveness of our dehazing cost volume against the ordinary cost volume regarding scattering media. We also demonstrated the applicability of our dehazing cost volume to real foggy scenes.
updated: Wed Nov 18 2020 06:33:47 GMT+0000 (UTC)
published: Wed Nov 18 2020 06:33:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト