グラウンドトゥルース3Dアノテーションを使用せずに、画像コレクションでトレーニングされた単一の画像から3D空間のオブジェクトの変化を復元することを学習する、きめ細かいオブジェクト認識のための新しいフレームワークを提案します。これは、オブジェクトを3D形状とその外観の構成として表現すると同時に、標準的な構成でカメラの視点の影響を排除することで実現します。 2D画像のみの空間変化をモデル化する従来の方法とは異なり、私たちの方法は、標準的な3D空間の外観機能を再構成できるため、後続のオブジェクト分類子を3D幾何学的変化の下で不変にすることができます。私たちの表現はまた、オブジェクト認識のための追加の手がかりとして3D形状変化を組み込むことにより、既存の方法を超えることを可能にします。グラウンドトゥルース3Dアノテーションなしでモデルを学習するために、合成による分析フレームワークに微分可能なレンダラーをデプロイします。 3Dの形状と外観を一緒に深い表現に組み込むことにより、私たちの方法はオブジェクトの識別表現を学習し、きめの細かい画像認識と車両の再識別で競争力のあるパフォーマンスを実現します。また、ブースティング方式で細粒度の形状変形を学習することにより、3D形状再構成のパフォーマンスが向上することを示します。
We propose a novel framework for fine-grained object recognition that learns to recover object variation in 3D space from a single image, trained on an image collection without using any ground-truth 3D annotation. We accomplish this by representing an object as a composition of 3D shape and its appearance, while eliminating the effect of camera viewpoint, in a canonical configuration. Unlike conventional methods modeling spatial variation in 2D images only, our method is capable of reconfiguring the appearance feature in a canonical 3D space, thus enabling the subsequent object classifier to be invariant under 3D geometric variation. Our representation also allows us to go beyond existing methods, by incorporating 3D shape variation as an additional cue for object recognition. To learn the model without ground-truth 3D annotation, we deploy a differentiable renderer in an analysis-by-synthesis framework. By incorporating 3D shape and appearance jointly in a deep representation, our method learns the discriminative representation of the object and achieves competitive performance on fine-grained image recognition and vehicle re-identification. We also demonstrate that the performance of 3D shape reconstruction is improved by learning fine-grained shape deformation in a boosting manner.