arXiv reaDer
単一画像からの人間の詳細な深度推定のためのニューラルネットワーク
A Neural Network for Detailed Human Depth Estimation from a Single Image
 この論文では、単一のRGB画像で前景の人間の詳細な深度マップを推定するニューラルネットワークを提示します。結果は、視覚化アプリケーションで重要な布のしわなどのジオメトリの詳細をキャプチャします。この目標を達成するために、深度マップを滑らかなベースシェイプと残留ディテールシェイプに分離し、それぞれを回帰する2つのブランチを持つネットワークを設計します。対応するネットワークブランチが基本図形と詳細図形の両方を忠実に学習できるように、トレーニング戦略を設計します。さらに、大まかな深度マップとサーフェス法線を融合して、最終結果をさらに改善するための新しいネットワークレイヤーを導入します。実際の深度カメラでキャプチャされた融合した「グランドトゥルース」との定量的比較および制約のないインターネット画像の定性的な例は、提案された方法の強さを示しています。コードはhttps://github.com/sfu-gruvi-3dv/deep_humanで入手できます。
This paper presents a neural network to estimate a detailed depth map of the foreground human in a single RGB image. The result captures geometry details such as cloth wrinkles, which are important in visualization applications. To achieve this goal, we separate the depth map into a smooth base shape and a residual detail shape and design a network with two branches to regress them respectively. We design a training strategy to ensure both base and detail shapes can be faithfully learned by the corresponding network branches. Furthermore, we introduce a novel network layer to fuse a rough depth map and surface normals to further improve the final result. Quantitative comparison with fused `ground truth' captured by real depth cameras and qualitative examples on unconstrained Internet images demonstrate the strength of the proposed method. The code is available at https://github.com/sfu-gruvi-3dv/deep_human.
updated: Tue Dec 24 2019 08:35:33 GMT+0000 (UTC)
published: Thu Oct 03 2019 01:54:22 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト