単一画像の3D形状再構成における重要な課題は、深いモデルがトレーニングセットの一部ではなかった形状に一般化できるようにすることです。アルゴリズムは、トレーニングデータの形状特性に基づいて学習した表現を利用して表面の遮蔽部分を推測する必要があるため、これは困難です。したがって、過剰適合に対して脆弱です。オブジェクトの目に見えないカテゴリへのそのような一般化は、アーキテクチャ設計とトレーニングアプローチの両方の機能です。このホワイトペーパーでは、効果的な一般化をサポートする新しい形状予測アーキテクチャとトレーニングアプローチであるSDFNetを紹介します。 3D形状メトリックの一貫した使用から、レンダリングアプローチの選択、ShapeNetCore.v2とABCを使用した見えない形状の大規模評価に至るまで、一般化の精度とその測定に影響を与える要因の広範な調査を提供します。 SDFNetが、既存のベースラインメソッドであるGenReおよびOccNetと比較して、見えている形状と見えていない形状に対して最先端のパフォーマンスを提供することを示します。一般化性能の最初の大規模な実験的評価を提供します。この記事でリリースされたコードベースにより、単一画像の形状再構成の方法の一貫した評価と比較が可能になります。
The key challenge in single image 3D shape reconstruction is to ensure that deep models can generalize to shapes which were not part of the training set. This is challenging because the algorithm must infer the occluded portion of the surface by leveraging a representation learned based on the shape characteristics of the training data, and is therefore vulnerable to overfitting. Such generalization to unseen categories of objects is a function of both architecture design and training approaches. This paper introduces SDFNet, a novel shape prediction architecture and training approach which supports effective generalization. We provide an extensive investigation of the factors which influence generalization accuracy and its measurement, ranging from the consistent use of 3D shape metrics to the choice of rendering approach and the large-scale evaluation on unseen shapes using ShapeNetCore.v2 and ABC. We show that SDFNet provides state-of-the-art performance on seen and unseen shapes relative to existing baseline methods GenRe and OccNet. We provide the first large-scale experimental evaluation of generalization performance. The codebase released with this article will allow for the consistent evaluation and comparison of methods for single image shape reconstruction.