KeypointGANを提案します。これは、単一の画像からオブジェクトのポーズを認識するための新しい方法であり、学習にはラベルのないビデオと、オブジェクトのポーズに関する弱い経験的事前情報のみを使用します。ビデオフレームは、主に含まれるオブジェクトのポーズが異なるため、この方法では、フレーム間の違いを分析してポーズ情報を抽出します。蒸留では、オブジェクトのジオメトリの新しい二重表現を2Dキーポイントのセットとして、および画像表現、つまりスケルトンイメージとして使用します。これには3つの利点があります。(1)ポーズを外観から解きほぐすタイトな「幾何学的ボトルネック」を提供します。(2)強力な画像間変換ネットワークを活用して測光とジオメトリをマッピングできます。(3)次のことが可能です。学習プロセスに経験的なポーズの事前情報を組み込みます。ポーズの事前情報は、異なるデータセットやモーションキャプチャなどのモダリティなどのペアになっていないデータから取得されるため、ポーズ認識ネットワークの学習に注釈付きの画像が使用されることはありません。人間と顔のポーズ認識の標準ベンチマークでは、私たちの方法は、トレーニングにラベル付き画像を必要としない方法の中で最先端のパフォーマンスを実現します。
We propose KeypointGAN, a new method for recognizing the pose of objects from a single image that for learning uses only unlabelled videos and a weak empirical prior on the object poses. Video frames differ primarily in the pose of the objects they contain, so our method distils the pose information by analyzing the differences between frames. The distillation uses a new dual representation of the geometry of objects as a set of 2D keypoints, and as a pictorial representation, i.e. a skeleton image. This has three benefits: (1) it provides a tight `geometric bottleneck' which disentangles pose from appearance, (2) it can leverage powerful image-to-image translation networks to map between photometry and geometry, and (3) it allows to incorporate empirical pose priors in the learning process. The pose priors are obtained from unpaired data, such as from a different dataset or modality such as mocap, such that no annotated image is ever used in learning the pose recognition network. In standard benchmarks for pose recognition for humans and faces, our method achieves state-of-the-art performance among methods that do not require any labelled images for training.