顔認識の研究では、この前例のないCOVID-19パンデミックの時代に、多数のラベル付きマスク顔画像が必要になりました。残念ながら、ウイルスの急速な拡散により、このようなデータセットを実際に準備する時間がほとんどなくなりました。この問題を回避するために、WearMask3Dと呼ばれる3Dモデルベースのアプローチを提示して、マスクされた顔の対応物にさまざまなポーズの顔画像を拡張します。私たちの方法は、最初に入力画像に3Dモーフィング可能なモデルをフィッティングし、次にマスク表面を顔モデルにオーバーレイしてそれぞれのマスクテクスチャをワープし、最後に3Dマスクを2Dに投影することによって進行します。マスクテクスチャは、入力画像の明るさと解像度に基づいて調整されます。 3Dで作業することにより、私たちの方法は、単一のマスクテクスチャからさまざまなポーズのより自然なマスクされた顔を生成できます。さまざまな拡張アプローチを正確に比較するために、MFW-miniと呼ばれるラベルが付いたマスクされた面とマスクされていない面で構成されるデータセットを作成しました。実験結果は、公開されるWearMask3Dがよりリアルなマスク画像を生成し、これらの画像をトレーニングに利用することで、最新技術と比較してマスクされた顔の認識精度が向上することを示しています。
Face recognition research now requires a large number of labelled masked face images in the era of this unprecedented COVID-19 pandemic. Unfortunately, the rapid spread of the virus has left us little time to prepare for such dataset in the wild. To circumvent this issue, we present a 3D model-based approach called WearMask3D for augmenting face images of various poses to the masked face counterparts. Our method proceeds by first fitting a 3D morphable model on the input image, second overlaying the mask surface onto the face model and warping the respective mask texture, and last projecting the 3D mask back to 2D. The mask texture is adapted based on the brightness and resolution of the input image. By working in 3D, our method can produce more natural masked faces of diverse poses from a single mask texture. To compare precisely between different augmentation approaches, we have constructed a dataset comprising masked and unmasked faces with labels called MFW-mini. Experimental results demonstrate WearMask3D, which will be made publicly available, produces more realistic masked images, and utilizing these images for training leads to improved recognition accuracy of masked faces compared to the state-of-the-art.