深度マップへの拡散がRGB監視からのマルチビュー再投影エラーを最小化するように、点のまばらなセットを最適化することによって、密な深度を推定する方法を提示します。解析的透過率を持つガウス分布としてポイントをモデル化する差分スプラッティングによって、損失に関してポイントの位置、深さ、および重みを最適化します。さらに、複雑なシーンの再構築に必要な50k以上のポイントを同時に最適化できる効率的な最適化ルーチンを開発します。グラウンドトゥルースデータを使用してルーチンを検証し、高い再構成品質を示します。次に、これを自己監視を介してライトフィールドおよびより広いベースライン画像に適用し、不正確なスパースポイントから拡散された深度マップの平均誤差と外れ値誤差の両方の改善を示します。最後に、定性的および定量的な結果を画像処理および深層学習法と比較します。
We present a method to estimate dense depth by optimizing a sparse set of points such that their diffusion into a depth map minimizes a multi-view reprojection error from RGB supervision. We optimize point positions, depths, and weights with respect to the loss by differential splatting that models points as Gaussians with analytic transmittance. Further, we develop an efficient optimization routine that can simultaneously optimize the 50k+ points required for complex scene reconstruction. We validate our routine using ground truth data and show high reconstruction quality. Then, we apply this to light field and wider baseline images via self supervision, and show improvements in both average and outlier error for depth maps diffused from inaccurate sparse points. Finally, we compare qualitative and quantitative results to image processing and deep learning methods.