単一の画像から任意のポーズの任意のオブジェクトの3D形状を正確に予測することは、コンピュータービジョン研究の重要な目標です。これは、限られたトレーニングセットを使用して、オブジェクトの可視部分と遮蔽部分の両方を推測できる表現を学習するモデルを必要とするため、困難です。考えられるすべてのオブジェクト形状をカバーするトレーニングセットは、本質的に実行不可能です。このような学習ベースのアプローチは、本質的に過剰適合に対して脆弱であり、それらを正常に実装することは、アーキテクチャ設計とトレーニングアプローチの両方の機能です。アーキテクチャの設計、トレーニング、実験の設計、および再構築のパフォーマンスと測定に影響を与える評価に固有の要因の広範な調査を提示します。提案されたSDFNetが、既存のメソッドGenReおよびOccNetと比較して、見えている形状と見えていない形状で最先端のパフォーマンスを実現していることを示します。見えない物体に対する単一画像形状再構成の最初の大規模評価を提供します。ソースコード、データ、トレーニング済みモデルはhttps://github.com/rehg-lab/3DShapeGenにあります。
Accurately predicting the 3D shape of any arbitrary object in any pose from a single image is a key goal of computer vision research. This is challenging as it requires a model to learn a representation that can infer both the visible and occluded portions of any object using a limited training set. A training set that covers all possible object shapes is inherently infeasible. Such learning-based approaches are inherently vulnerable to overfitting, and successfully implementing them is a function of both the architecture design and the training approach. We present an extensive investigation of factors specific to architecture design, training, experiment design, and evaluation that influence reconstruction performance and measurement. We show that our proposed SDFNet achieves state-of-the-art performance on seen and unseen shapes relative to existing methods GenRe and OccNet. We provide the first large-scale evaluation of single image shape reconstruction to unseen objects. The source code, data and trained models can be found on https://github.com/rehg-lab/3DShapeGen.