最近では、COVID-19 とリモートワークの需要の高まりにより、ビデオ会議アプリが特に普及しています。ビデオ チャットの最も価値のある機能は、リアルタイムの背景除去と顔の美化です。これらのタスクを解決する一方で、コンピューター ビジョンの研究者は、トレーニング ステージに関連するデータを取得するという問題に直面します。追加のアプローチなしで軽量モデルをトレーニングするために、ラップトップまたはスマートフォンのカメラの前にいる人々の高品質のラベル付けされた多様な画像を含む大規模なデータセットはありません。この分野の進歩を後押しするために、ポートレート セグメンテーションと顔解析タスク用の新しい画像データセット EasyPortrait を提供します。これには、8,377 人のユニーク ユーザーの主に屋内の 20,000 枚の写真と、9 つのクラスに分けられたきめ細かいセグメンテーション マスクが含まれています。画像はクラウドソーシング プラットフォームから収集され、ラベル付けされています。ほとんどの顔解析データセットとは異なり、EasyPortrait では、あごひげはスキン マスクの一部とは見なされず、口の内側の領域は歯から分離されています。これらの機能により、EasyPortrait を使用して肌の改善や歯のホワイトニング作業を行うことができます。このホワイト ペーパーでは、合成データを追加せずにクラウドソーシング プラットフォームを使用して、大規模でクリーンな画像セグメンテーション データセットを作成するためのパイプラインについて説明します。さらに、EasyPortrait でいくつかのモデルをトレーニングし、実験結果を示しました。提案されたデータセットとトレーニング済みモデルは公開されています。
Recently, due to COVID-19 and the growing demand for remote work, video conferencing apps have become especially widespread. The most valuable features of video chats are real-time background removal and face beautification. While solving these tasks, computer vision researchers face the problem of having relevant data for the training stage. There is no large dataset with high-quality labeled and diverse images of people in front of a laptop or smartphone camera to train a lightweight model without additional approaches. To boost the progress in this area, we provide a new image dataset, EasyPortrait, for portrait segmentation and face parsing tasks. It contains 20,000 primarily indoor photos of 8,377 unique users, and fine-grained segmentation masks separated into 9 classes. Images are collected and labeled from crowdsourcing platforms. Unlike most face parsing datasets, in EasyPortrait, the beard is not considered part of the skin mask, and the inside area of the mouth is separated from the teeth. These features allow using EasyPortrait for skin enhancement and teeth whitening tasks. This paper describes the pipeline for creating a large-scale and clean image segmentation dataset using crowdsourcing platforms without additional synthetic data. Moreover, we trained several models on EasyPortrait and showed experimental results. Proposed dataset and trained models are publicly available.