最近、機械学習で個人を特定できる情報を使用することによって提起されるプライバシーの問題に対する懸念が高まっています。ただし、以前のポートレートマット方法はすべて、識別可能なポートレート画像に基づいていました。ギャップを埋めるために、このペーパーではP3M-10kを紹介します。これは、プライバシー保護ポートレートマットの最初の大規模な匿名化ベンチマークです。 P3M-10kは、10,000枚の高解像度の顔がぼやけたポートレート画像と、高品質のアルファマットで構成されています。 P3M-10kでトライマップフリーとトリマップベースの両方のマット方法を体系的に評価し、プライバシー保護トレーニング(PPT)設定に従うと、既存のマット方法が異なる一般化機能を示すことを発見しました。任意の画像。より優れたトライマップフリーのポートレートマットモデルを考案するために、P3M-Netを提案します。これは、セマンティック知覚と詳細マットの両方に統合フレームワークの能力を活用し、マットプロセスを容易にするためにそれらとエンコーダーの間の相互作用を特に強調します。 P3M-10kでの広範な実験は、P3M-Netが客観的な測定基準と主観的な視覚品質の両方の点で最先端の方法よりも優れていることを示しています。さらに、PPT設定で優れた一般化能力を示し、将来の研究を容易にし、潜在的な実世界のアプリケーションを可能にするためのP3M-10kの価値を確認します。ソースコードとデータセットはhttps://github.com/JizhiziLi/P3Mで入手できます。
Recently, there has been an increasing concern about the privacy issue raised by using personally identifiable information in machine learning. However, previous portrait matting methods were all based on identifiable portrait images. To fill the gap, we present P3M-10k in this paper, which is the first large-scale anonymized benchmark for Privacy-Preserving Portrait Matting. P3M-10k consists of 10,000 high-resolution face-blurred portrait images along with high-quality alpha mattes. We systematically evaluate both trimap-free and trimap-based matting methods on P3M-10k and find that existing matting methods show different generalization capabilities when following the Privacy-Preserving Training (PPT) setting, i.e., training on face-blurred images and testing on arbitrary images. To devise a better trimap-free portrait matting model, we propose P3M-Net, which leverages the power of a unified framework for both semantic perception and detail matting, and specifically emphasizes the interaction between them and the encoder to facilitate the matting process. Extensive experiments on P3M-10k demonstrate that P3M-Net outperforms the state-of-the-art methods in terms of both objective metrics and subjective visual quality. Besides, it shows good generalization capacity under the PPT setting, confirming the value of P3M-10k for facilitating future research and enabling potential real-world applications. The source code and dataset are available at https://github.com/JizhiziLi/P3M