動物の形は多様ですが、3Dデータが不足しているため、新しい種の変形可能な形状モデルを構築できるとは限りません。関節テンプレートとその種の画像を使用して、新しい種をキャプチャする方法を提示します。この作品では、主に鳥に焦点を当てています。鳥は哺乳類のほぼ2倍の種数を表していますが、正確な形状モデルはありません。新しい種をキャプチャするために、最初に関節テンプレートを各トレーニングサンプルに適合させます。ポーズと形を解きほぐすことで、画像の証拠から種間と種内の両方の変化を捉える形空間を学びます。 CUBデータセットから複数の種のモデルを学習し、下流の再構築タスクに役立つ新しい種固有および複数種の形状モデルを提供します。低次元の埋め込みを使用して、学習した3D形状空間が、学習した知覚的特徴よりも鳥の間の系統発生的関係をよりよく反映していることを示します。
Animals are diverse in shape, but building a deformable shape model for a new species is not always possible due to the lack of 3D data. We present a method to capture new species using an articulated template and images of that species. In this work, we focus mainly on birds. Although birds represent almost twice the number of species as mammals, no accurate shape model is available. To capture a novel species, we first fit the articulated template to each training sample. By disentangling pose and shape, we learn a shape space that captures variation both among species and within each species from image evidence. We learn models of multiple species from the CUB dataset, and contribute new species-specific and multi-species shape models that are useful for downstream reconstruction tasks. Using a low-dimensional embedding, we show that our learned 3D shape space better reflects the phylogenetic relationships among birds than learned perceptual features.