正確な3Dスキャンデバイスの可用性の急速な増加により、顔の認識と分析が3Dドメインに移行しました。 3D顔のランドマークは、しばしば解剖学的構造の単純な尺度として使用され、自動ランドマーク配置のための正確なアルゴリズムを持つことが重要です。現在の最先端のアプローチは、ディープコンボリューショナルニューラルネットワーク(CNN)の使用により、人間の姿勢追跡と2D顔のランドマーク配置で報告されているパフォーマンスの劇的な向上からまだ得られていません。 3Dメッシュのディープラーニングアプローチの開発により、ジオメトリックディープラーニングと呼ばれる新しいサブフィールドが生まれました。1つのトピックは、ディープCNNを使用するためのメッシュの適応です。この作業では、幾何学的な深層学習から派生した方法、つまりマルチビューCNNを、人間の姿勢追跡の最近の進歩と組み合わせる方法を示します。この方法は、2Dランドマークの推定値を見つけて、この情報を3D空間に伝播します。コンセンサスメソッドは、正確な3D顔のランドマークの位置を決定します。標準の3D顔データセットでメソッドを利用し、現在のメソッドよりも大きなマージンで性能が優れていることを示します。さらに、3Dレンジスキャンでトレーニングされたモデルを使用して、磁気共鳴画像に解剖学的ランドマークを正確に配置する方法を示します。
The rapid increase in the availability of accurate 3D scanning devices has moved facial recognition and analysis into the 3D domain. 3D facial landmarks are often used as a simple measure of anatomy and it is crucial to have accurate algorithms for automatic landmark placement. The current state-of-the-art approaches have yet to gain from the dramatic increase in performance reported in human pose tracking and 2D facial landmark placement due to the use of deep convolutional neural networks (CNN). Development of deep learning approaches for 3D meshes has given rise to the new subfield called geometric deep learning, where one topic is the adaptation of meshes for the use of deep CNNs. In this work, we demonstrate how methods derived from geometric deep learning, namely multi-view CNNs, can be combined with recent advances in human pose tracking. The method finds 2D landmark estimates and propagates this information to 3D space, where a consensus method determines the accurate 3D face landmark position. We utilise the method on a standard 3D face dataset and show that it outperforms current methods by a large margin. Further, we demonstrate how models trained on 3D range scans can be used to accurately place anatomical landmarks in magnetic resonance images.