arXiv reaDer
SketchHairSalon:ディープスケッチベースのヘアイメージ合成
SketchHairSalon: Deep Sketch-based Hair Image Synthesis
最近の深い生成モデルでは、スケッチ入力から髪の画像をリアルタイムで生成できます。既存のソリューションでは、多くの場合、ターゲットの髪の形を指定するために、ユーザーが提供するバイナリマスクが必要です。これは、ユーザーに余分な労力を費やすだけでなく、複雑な髪の境界を捉えることもできません。これらのソリューションは通常、方向マップを介して髪の構造をエンコードしますが、複雑な構造をエンコードするにはあまり効果的ではありません。色付きの髪のスケッチは、ターゲットの髪の形と髪の外観をすでに暗黙的に定義しており、方向マップよりも髪の構造を柔軟に表現できることがわかります。これらの観察に基づいて、SketchHairSalonを紹介します。これは、希望する髪の構造と外観を描いたフリーハンドスケッチから直接リアルな髪の画像を生成するための2段階のフレームワークです。最初の段階では、入力されたヘアスケッチからヘアマットを予測するネットワークをトレーニングし、オプションでヘア以外のストロークのセットを使用します。第2段階では、入力スケッチと生成されたマットから髪の画像の構造と外観を合成するために、別のネットワークがトレーニングされます。 2段階のネットワークに脳卒中の長期的な依存性を認識させるために、私たちはそれらに自己注意モジュールを適用します。これらのネットワークをトレーニングするために、何千もの注釈付きヘアスケッチ画像ペアと対応するヘアマットを含む新しいデータセットを提示します。繰り返しの編みこみ部分とヘアストロークをそれぞれ自動的に完了するために、スケッチを完了するための2つの効率的な方法が提案されているため、ユーザーの作業負荷が軽減されます。訓練されたネットワークと2つのスケッチ完成戦略に基づいて、初心者ユーザーでもフリーハンドスケッチを介してさまざまな髪の構造と外観を示す視覚的に心地よい髪の画像をデザインできる直感的なインターフェイスを構築します。定性的および定量的評価は、既存または代替のソリューションに対する提案されたシステムの利点を示しています。
Recent deep generative models allow real-time generation of hair images from sketch inputs. Existing solutions often require a user-provided binary mask to specify a target hair shape. This not only costs users extra labor but also fails to capture complicated hair boundaries. Those solutions usually encode hair structures via orientation maps, which, however, are not very effective to encode complex structures. We observe that colored hair sketches already implicitly define target hair shapes as well as hair appearance and are more flexible to depict hair structures than orientation maps. Based on these observations, we present SketchHairSalon, a two-stage framework for generating realistic hair images directly from freehand sketches depicting desired hair structure and appearance. At the first stage, we train a network to predict a hair matte from an input hair sketch, with an optional set of non-hair strokes. At the second stage, another network is trained to synthesize the structure and appearance of hair images from the input sketch and the generated matte. To make the networks in the two stages aware of long-term dependency of strokes, we apply self-attention modules to them. To train these networks, we present a new dataset containing thousands of annotated hair sketch-image pairs and corresponding hair mattes. Two efficient methods for sketch completion are proposed to automatically complete repetitive braided parts and hair strokes, respectively, thus reducing the workload of users. Based on the trained networks and the two sketch completion strategies, we build an intuitive interface to allow even novice users to design visually pleasing hair images exhibiting various hair structures and appearance via freehand sketches. The qualitative and quantitative evaluations show the advantages of the proposed system over the existing or alternative solutions.
updated: Tue Sep 21 2021 03:09:10 GMT+0000 (UTC)
published: Thu Sep 16 2021 11:14:01 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト