ビデオベースの歩行認識は、制約のあるシナリオで印象的な結果を達成しました。ただし、視覚カメラは人間の 3D 構造情報を無視するため、3D 野生世界での歩行認識の実現可能性が制限されます。この作業では、画像から歩行特徴を抽出する代わりに、点群から正確な 3D 歩行特徴を調査し、マルチビュー プロジェクション ネットワーク (MVPNet) と呼ばれるシンプルで効率的な 3D 歩行認識フレームワークを提案します。 MVPNet は、最初にポイント クラウドをさまざまな視点から複数の深度マップに投影し、次に深度画像を融合して、3D ジオメトリ情報を使用してコンパクトな表現を学習します。点群データセットが不足しているため、Lidar センサーとロボットに取り付けられた RGB カメラによって収集された、最初の大規模な Lidar ベースの歩行認識データセット、LIDAR GAIT を構築します。このデータセットには、1,050 人の被験者からの 25,279 のシーケンスが含まれており、可視性、ビュー、閉塞、衣服、持ち運び、シーンなど、さまざまなバリエーションをカバーしています。広範な実験により、(1) 3D 構造情報が歩行認識の重要な機能として機能することが示されています。 (2) MVPNet は、代表的な 5 つのポイントベースの方法と競合するだけでなく、既存のカメラベースの方法よりも大幅に優れています。 (3) Lidar センサーは、野生での歩行認識において RGB カメラよりも優れています。 LIDAR GAIT データセットと MVPNet コードは公開されます。
Video-based gait recognition has achieved impressive results in constrained scenarios. However, visual cameras neglect human 3D structure information, which limits the feasibility of gait recognition in the 3D wild world. In this work, instead of extracting gait features from images, we explore precise 3D gait features from point clouds and propose a simple yet efficient 3D gait recognition framework, termed multi-view projection network (MVPNet). MVPNet first projects point clouds into multiple depth maps from different perspectives, and then fuse depth images together, to learn the compact representation with 3D geometry information. Due to the lack of point cloud datasets, we build the first large-scale Lidar-based gait recognition dataset, LIDAR GAIT, collected by a Lidar sensor and an RGB camera mounted on a robot. The dataset contains 25,279 sequences from 1,050 subjects and covers many different variations, including visibility, views, occlusions, clothing, carrying, and scenes. Extensive experiments show that, (1) 3D structure information serves as a significant feature for gait recognition. (2) MVPNet not only competes with five representative point-based methods, but it also outperforms existing camera-based methods by large margins. (3) The Lidar sensor is superior to the RGB camera for gait recognition in the wild. LIDAR GAIT dataset and MVPNet code will be publicly available.