任意のオブジェクトの3Dポーズを推定する必要性に動機付けられて、CADモデルの知識がなくても、画像のみからクラスにとらわれないオブジェクトの視点を推定するという難しい問題を検討します。アイデアは、見られたクラスで学習された機能を活用して、見られていないが、見られたクラスと同様のジオメトリと正規フレームを共有しているクラスのポーズを推定することです。すべてのオブジェクトクラス間で重みを共有することにより、クラスにとらわれない方法で直接ポーズ推定器をトレーニングし、次の3つの主要な要素を持つ対照的な学習方法を紹介します。(i)事前にトレーニングされた自己監視型のコントラストベースの使用特徴; (ii)ポーズを意識したデータ拡張。 (iii)ポーズを意識した対照的な喪失。 Pascal3D +、ObjectNet3D、およびPix3Dを、表示されているクラスと表示されていないクラスの両方を使用して、クロスデータセット方式で実験しました。 CADモデルを入力として追加で使用する方法を含め、最先端の結果を報告します。
Motivated by the need for estimating the 3D pose of arbitrary objects, we consider the challenging problem of class-agnostic object viewpoint estimation from images only, without CAD model knowledge. The idea is to leverage features learned on seen classes to estimate the pose for classes that are unseen, yet that share similar geometries and canonical frames with seen classes. We train a direct pose estimator in a class-agnostic way by sharing weights across all object classes, and we introduce a contrastive learning method that has three main ingredients: (i) the use of pre-trained, self-supervised, contrast-based features; (ii) pose-aware data augmentations; (iii) a pose-aware contrastive loss. We experimented on Pascal3D+, ObjectNet3D and Pix3D in a cross-dataset fashion, with both seen and unseen classes. We report state-of-the-art results, including against methods that additionally use CAD models as input.