arXiv reaDer
Data-Free Point Cloud Network for 3D Face Recognition
 ポイントクラウドベースのネットワークは、3Dオブジェクトの分類、セグメンテーション、屋内シーンの意味解析において大きな注目を集めています。顔認識に関しては、入力として点群を直接消費する3D顔認識方法がまだ検討中です。これを説明する主な要因は2つあります。1つは、深いネットワークを使用して3D点群から識別可能な顔表現を取得する方法です。もう1つは、大規模な3Dトレーニングデータセットの不足です。これらの問題に対処するために、統計的な3D Morphable Modelから合成された非現実的なデータのみを使用してディープポイントクラウドネットワークをトレーニングする、データなしの3D顔認識方法が提案されています。モデルデータと実際の顔の間の一貫性のない分散を容易にするために、トレーニングとテストフェーズで異なるポイントサンプリング方法が使用されます。この論文では、元の最遠点サンプリング(FPS)を置換する曲率認識点サンプリング(CPS)戦略を提案します。ネットワークのようなPointNet ++を使用して、ポイントクラウドから顔の特徴を直接抽出します。実験結果は、生成されたデータでトレーニングされたネットワークが実際の3D顔に対して一般化することを示しています。 FRGCv2.0とボスポラス海峡の一部を微調整することで、さまざまなポーズや表情の実際の顔が含まれ、認識精度がさらに向上します。
Point clouds-based Networks have achieved great attention in 3D object classification, segmentation and indoor scene semantic parsing. In terms of face recognition, 3D face recognition method which directly consume point clouds as input is still under study. Two main factors account for this: One is how to get discriminative face representations from 3D point clouds using deep network; the other is the lack of large 3D training dataset. To address these problems, a data-free 3D face recognition method is proposed only using synthesized unreal data from statistical 3D Morphable Model to train a deep point cloud network. To ease the inconsistent distribution between model data and real faces, different point sampling methods are used in train and test phase. In this paper, we propose a curvature-aware point sampling(CPS) strategy replacing the original furthest point sampling(FPS) to hierarchically down-sample feature-sensitive points which are crucial to pass and aggregate features deeply. A PointNet++ like Network is used to extract face features directly from point clouds. The experimental results show that the network trained on generated data generalizes well for real 3D faces. Fine tuning on a small part of FRGCv2.0 and Bosphorus, which include real faces in different poses and expressions, further improves recognition accuracy.
updated: Tue Nov 12 2019 08:18:30 GMT+0000 (UTC)
published: Tue Nov 12 2019 08:18:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト