このホワイトペーパーでは、多くのダウンストリームアプリケーションにとって重要なタスクである、オクルージョンを意識した顔のセグメンテーションのデータセットについて包括的な分析を行います。このようなデータセットの収集と注釈付けは、時間と労力を要します。合成データの生成にはいくつかの努力が払われてきましたが、データの自然主義的な側面はあまり探求されていません。私たちの研究では、高品質の自然主義的な合成閉塞顔を生成するために、2つの閉塞生成技術であるNaturalistic Occlusion Generation(NatOcc)を提案します。ランダムオクルージョン生成(RandOcc)は、より一般的な合成オクルージョンデータ生成方法です。目に見えないオクルージョンの場合でも、両方の方法の有効性と堅牢性を経験的に示します。モデルの評価を容易にするために、2つの高解像度の実世界のオクルージョンされた顔のデータセットを、きめ細かい注釈付きで提示します。RealOccとRealOcc-Wildは、注意深い位置合わせの前処理と堅牢性テストのための実際の設定の両方を備えています。さらに、新たに導入されたセグメンテーションベンチマークについて包括的な分析を行い、将来の調査のための洞察を提供します。
This paper performs comprehensive analysis on datasets for occlusion-aware face segmentation, a task that is crucial for many downstream applications. The collection and annotation of such datasets are time-consuming and labor-intensive. Although some efforts have been made in synthetic data generation, the naturalistic aspect of data remains less explored. In our study, we propose two occlusion generation techniques, Naturalistic Occlusion Generation (NatOcc), for producing high-quality naturalistic synthetic occluded faces; and Random Occlusion Generation (RandOcc), a more general synthetic occluded data generation method. We empirically show the effectiveness and robustness of both methods, even for unseen occlusions. To facilitate model evaluation, we present two high-resolution real-world occluded face datasets with fine-grained annotations, RealOcc and RealOcc-Wild, featuring both careful alignment preprocessing and an in-the-wild setting for robustness test. We further conduct a comprehensive analysis on a newly introduced segmentation benchmark, offering insights for future exploration.