肖像画の画像からの髪の堅牢なセグメンテーションは依然として困難です。髪は均一な形状、スタイル、または色にさえ適合していません。特に黒髪は特徴が欠けています。入力と処理の両方の面から問題に取り組む新しい計算画像ソリューションを紹介します。最近のモバイルデバイスでの飛行時間(ToF)RGBDセンサーの使用について説明します。最初に包括的な分析を行い、光路を変更したり、複数のパスを組み合わせたりすることで、散乱と相互反射がToF画像の髪と非髪の領域に異なるノイズパターンを引き起こすことを示します。次に、ToFデプスマップとRGBグラディエントマップの両方を使用するディープネットワークベースのアプローチを開発して、ラベル付けされたヘアコンポーネントで初期ヘアセグメンテーションを生成します。次に、条件付きのランダムフィールドの下で事前にToFノイズを課すことにより、結果を調整します。最初のToF RGBDヘアデータセットを収集し、さまざまなビュー角度でさまざまなヘアスタイルの30人の被験者でキャプチャした20k +の頭の画像を使用します。包括的な実験は、私たちのアプローチが精度と堅牢性においてRGBベースの手法よりも優れており、黒髪、類似の髪/背景、類似の髪/前景などの伝統的に困難なケースを処理できることを示しています。
Robust segmentation of hair from portrait images remains challenging: hair does not conform to a uniform shape, style or even color; dark hair in particular lacks features. We present a novel computational imaging solution that tackles the problem from both input and processing fronts. We explore using Time-of-Flight (ToF) RGBD sensors on recent mobile devices. We first conduct a comprehensive analysis to show that scattering and inter-reflection cause different noise patterns on hair vs. non-hair regions on ToF images, by changing the light path and/or combining multiple paths. We then develop a deep network based approach that employs both ToF depth map and the RGB gradient maps to produce an initial hair segmentation with labeled hair components. We then refine the result by imposing ToF noise prior under the conditional random field. We collect the first ToF RGBD hair dataset with 20k+ head images captured on 30 human subjects with a variety of hairstyles at different view angles. Comprehensive experiments show that our approach outperforms the RGB based techniques in accuracy and robustness and can handle traditionally challenging cases such as dark hair, similar hair/background, similar hair/foreground, etc.