この前例のないCOVID-19パンデミックの時代に、顔認識には現在、多数のラベル付きマスク顔画像が必要です。残念ながら、ウイルスの急速な拡散により、このようなデータセットを実際に準備する時間がほとんどなくなりました。この問題を回避するために、WearMask3Dと呼ばれる3Dモデルベースのアプローチを提示して、マスクされた顔の対応物にさまざまなポーズの顔画像を拡張します。この方法では、最初に入力画像に3Dモーフィング可能なモデルをフィッティングし、次にマスクサーフェスを顔モデルにオーバーレイし、それぞれのマスクテクスチャをワープし、最後に3Dマスクを2Dに投影します。マスクテクスチャは、入力画像の明るさと解像度に基づいて調整されます。 3Dで作業することにより、私たちの方法は、単一のマスクテクスチャからさまざまなポーズのより自然なマスクされた顔を生成できます。さまざまな拡張アプローチを正確に比較するために、MFW-miniと呼ばれるラベルが付いたマスクされた顔とマスクされていない顔で構成されるデータセットを作成しました。実験結果は、WearMask3Dがよりリアルなマスクされた顔を生成することを示しており、トレーニングにこれらの画像を利用することで、マスクされた顔の最先端の認識精度が得られます。
Face recognition now requires a large number of labelled masked face images in the era of this unprecedented COVID-19 pandemic. Unfortunately, the rapid spread of the virus has left us little time to prepare for such dataset in the wild. To circumvent this issue, we present a 3D model-based approach called WearMask3D for augmenting face images of various poses to the masked face counterparts. Our method proceeds by first fitting a 3D morphable model on the input image, second overlaying the mask surface onto the face model and warping the respective mask texture, and last projecting the 3D mask back to 2D. The mask texture is adapted based on the brightness and resolution of the input image. By working in 3D, our method can produce more natural masked faces of diverse poses from a single mask texture. To compare precisely between different augmentation approaches, we have constructed a dataset comprising masked and unmasked faces with labels called MFW-mini. Experimental results demonstrate WearMask3D produces more realistic masked faces, and utilizing these images for training leads to state-of-the-art recognition accuracy for masked faces.