arXiv reaDer
空間パターンをもつ単一画像からのニューラル暗示的 3D 形状
Neural Implicit 3D Shapes from Single Images with Spatial Patterns
単一の画像からの 3D 形状の再構成は、コンピューター ビジョンの長年の問題でした。画像のキャプチャ中に情報の損失と閉塞が発生したため、問題は不適切な設定で非常に困難です。全体的な形状事前分布を学習する以前の方法とは対照的に、基本形状の不可視領域を推測するための空間パターン事前分布を学習する方法を提案します。作成された 3D マッピングとそのローカル画像の特徴。提案された空間パターンは、はるかに情報量が多く、目に見える場所と隠れた場所の両方に特徴的な説明があります。最も重要なことは、私たちの仕事の鍵は、形状全体の空間パターンのユビキタス性です。これにより、下にあるオブジェクトの目に見えない部分を推論できるようになり、オクルージョンの問題が大幅に軽減されます。空間パターン表現を統合するニューラル ネットワークを考案し、広く使用されているメトリックに対する提案方法の優位性を示します。
3D shape reconstruction from a single image has been a long-standing problem in computer vision. The problem is ill-posed and highly challenging due to the information loss and occlusion that occurred during the imagery capture. In contrast to previous methods that learn holistic shape priors, we propose a method to learn spatial pattern priors for inferring the invisible regions of the underlying shape, wherein each 3D sample in the implicit shape representation is associated with a set of points generated by hand-crafted 3D mappings, along with their local image features. The proposed spatial pattern is significantly more informative and has distinctive descriptions on both visible and occluded locations. Most importantly, the key to our work is the ubiquitousness of the spatial patterns across shapes, which enables reasoning invisible parts of the underlying objects and thus greatly mitigates the occlusion issue. We devise a neural network that integrates spatial pattern representations and demonstrate the superiority of the proposed method on widely used metrics.
updated: Sun Jun 06 2021 10:35:31 GMT+0000 (UTC)
published: Sun Jun 06 2021 10:35:31 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト