表現された形状の類似性によってRGB画像とテクスチャのない3Dモデルを比較するネットワークアーキテクチャを提示します。私たちのシステムはゼロショット検索用に最適化されています。つまり、トレーニングでは表示されなかった形状を認識できます。ビューベースの形状記述子とシャムネットワークを使用して、3Dモデルと2D画像のペアからオブジェクトのジオメトリを学習します。写真とメッシュが正確に対応するデータセットが不足しているため、合成データのみを使用してネットワークをトレーニングします。私たちの実験は、検索精度に対するトレーニングデータのさまざまな質と量の影響を調査し、ドメインギャップを埋めることからの洞察を提示します。合成データの種類を増やすと検索精度が向上し、検索をオブジェクトの上位10%に絞り込む限り、ゼロショットモードでのシステムのパフォーマンスがインスタンス認識モードのパフォーマンスに匹敵することを示します。
We present a network architecture which compares RGB images and untextured 3D models by the similarity of the represented shape. Our system is optimised for zero-shot retrieval, meaning it can recognise shapes never shown in training. We use a view-based shape descriptor and a siamese network to learn object geometry from pairs of 3D models and 2D images. Due to scarcity of datasets with exact photograph-mesh correspondences, we train our network with only synthetic data. Our experiments investigate the effect of different qualities and quantities of training data on retrieval accuracy and present insights from bridging the domain gap. We show that increasing the variety of synthetic data improves retrieval accuracy and that our system's performance in zero-shot mode can match that of the instance-aware mode, as far as narrowing down the search to the top 10% of objects.