arXiv reaDer
PP-GAN : GAN でランドマーク抽出機能を使用した韓国のポートレートから証明写真へのスタイル転送
PP-GAN : Style Transfer from Korean Portraits to ID Photos Using Landmark Extractor with GAN
スタイル転送の目的は、別の画像のスタイルを転送しながら、画像のコンテンツを維持することです。しかし、スタイル転送に関する従来の研究には、画像の同一性を維持するために重要な目、鼻、口などの顔のランドマークを保存する際に大きな限界がありました。韓国の肖像画では、大多数の人物が「ガット」という男性だけがかぶる頭飾りの一種をかぶっています。 「ガット」は証明写真の髪の毛とは異なる特徴があるため、転写するのが難しいのです。この問題に対処するために、本研究では、顔の同一性を維持しながら、「Gat」を含むスタイル転送を実行できる深層学習ネットワークを提案します。既存のスタイル転送アプローチとは異なり、提案された方法は、スタイル画像上のテクスチャ、コスチューム、および「ガット」を保存することを目的としています。 Generative Adversarial Network は、提案されたネットワークのバックボーンを形成します。色、テクスチャ、強度は、事前トレーニングされた VGG-16 の各ブロックとレイヤーの特性に基づいて別々に抽出され、トレーニング中に必要な要素のみが顔のランドマーク マスクを使用して保存されます。頭の部分は眉毛の部分を使って「Gat」を転写して表現しました。さらに、顔の同一性は保持され、グラム行列に基づいてスタイル相関が考慮されました。提案されたアプローチは、以前の研究と比較して優れた転写および保存パフォーマンスを実証しました。
The objective of a style transfer is to maintain the content of an image while transferring the style of another image. However, conventional research on style transfer has a significant limitation in preserving facial landmarks, such as the eyes, nose, and mouth, which are crucial for maintaining the identity of the image. In Korean portraits, the majority of individuals wear "Gat", a type of headdress exclusively worn by men. Owing to its distinct characteristics from the hair in ID photos, transferring the "Gat" is challenging. To address this issue, this study proposes a deep learning network that can perform style transfer, including the "Gat", while preserving the identity of the face. Unlike existing style transfer approaches, the proposed method aims to preserve texture, costume, and the "Gat" on the style image. The Generative Adversarial Network forms the backbone of the proposed network. The color, texture, and intensity were extracted differently based on the characteristics of each block and layer of the pre-trained VGG-16, and only the necessary elements during training were preserved using a facial landmark mask. The head area was presented using the eyebrow area to transfer the "Gat". Furthermore, the identity of the face was retained, and style correlation was considered based on the Gram matrix. The proposed approach demonstrated superior transfer and preservation performance compared to previous studies.
updated: Fri Jun 23 2023 10:10:16 GMT+0000 (UTC)
published: Fri Jun 23 2023 10:10:16 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト