シングルビュー3D再構成(SVR)用のニューラルネットワーク(NN)の人気が高まっています。最近の研究によると、SVRの場合、ほとんどの最先端のNNは、形状の再構築ではなく、主に認識(つまり、分類ベースの方法)に依存しているため、見えないオブジェクトの再構築のパフォーマンスが制限されます。この問題を深く理解するために、NNが再構築よりも認識を好む時期と理由、およびその逆についての体系的な研究を提供します。私たちの発見は、認識と再構成を決定する主な要因は、トレーニングデータがどれだけ分散しているかであるということを示しています。したがって、この主要な要因を定量化し、NNへの影響を調査するために、新しいデータ駆動型メトリックである分散スコアを導入します。トレーニング画像がより分散し、トレーニング形状がより分散しない場合、NNは認識に偏っていると仮定します。私たちの仮説は支持されており、分散スコアは、合成データセットとベンチマークデータセットでの実験を通じて効果的であることが証明されています。提案されたメトリックが再構成の品質を分析するための主要な方法であり、従来の再構成スコアに加えて新しい情報を提供することを示します。
Neural networks (NN) for single-view 3D reconstruction (SVR) have gained in popularity. Recent work points out that for SVR, most cutting-edge NNs have limited performance on reconstructing unseen objects because they rely primarily on recognition (i.e., classification-based methods) rather than shape reconstruction. To understand this issue in depth, we provide a systematic study on when and why NNs prefer recognition to reconstruction and vice versa. Our finding shows that a leading factor in determining recognition versus reconstruction is how dispersed the training data is. Thus, we introduce the dispersion score, a new data-driven metric, to quantify this leading factor and study its effect on NNs. We hypothesize that NNs are biased toward recognition when training images are more dispersed and training shapes are less dispersed. Our hypothesis is supported and the dispersion score is proved effective through our experiments on synthetic and benchmark datasets. We show that the proposed metric is a principal way to analyze reconstruction quality and provides novel information in addition to the conventional reconstruction score.