人々は3Dの世界に住んでいます。ただし、人の再識別(re-id)に関する既存の作業では、ほとんどの場合、2D空間での意味表現学習が考慮されており、本質的に人の理解が制限されています。この作業では、3Dボディ構造の事前知識を調査することにより、この制限に対処します。具体的には、2D画像を3D空間に投影し、新しいパラメーター効率の高いオムニスケールグラフネットワーク(OG-Net)を導入して、3D点群から直接歩行者表現を学習します。 OG-Netは、まばらな3Dポイントによって提供されるローカル情報を効果的に活用し、構造と外観の情報を一貫した方法で利用します。 3Dジオメトリ情報の助けを借りて、スケールや視点などのノイズの多いバリアントのない新しいタイプのディープリード機能を学習できます。私たちの知る限り、私たちは3D空間で人の再識別を行う最初の試みの1つです。提案された方法は、(1)従来の2D空間でのマッチングの難しさを緩和し、(2)2D外観と3D構造の補足情報を活用し、(3)4つの大規模で限られたパラメーターで競争力のある結果を達成することを広範な実験を通じて示します。 person re-idデータセット、および(4)見えないデータセットに対して優れたスケーラビリティを備えています。コード、モデル、生成された3D人間データは、https://github.com/layumi/person-reid-3dで公開されています。
People live in a 3D world. However, existing works on person re-identification (re-id) mostly consider the semantic representation learning in a 2D space, intrinsically limiting the understanding of people. In this work, we address this limitation by exploring the prior knowledge of the 3D body structure. Specifically, we project 2D images to a 3D space and introduce a novel parameter-efficient Omni-scale Graph Network (OG-Net) to learn the pedestrian representation directly from 3D point clouds. OG-Net effectively exploits the local information provided by sparse 3D points and takes advantage of the structure and appearance information in a coherent manner. With the help of 3D geometry information, we can learn a new type of deep re-id feature free from noisy variants, such as scale and viewpoint. To our knowledge, we are among the first attempts to conduct person re-identification in the 3D space. We demonstrate through extensive experiments that the proposed method (1) eases the matching difficulty in the traditional 2D space, (2) exploits the complementary information of 2D appearance and 3D structure, (3) achieves competitive results with limited parameters on four large-scale person re-id datasets, and (4) has good scalability to unseen datasets. Our code, models and generated 3D human data are publicly available at https://github.com/layumi/person-reid-3d .