arXiv reaDer
忠実度を維持した前景ガイド付き顔面修復
Foreground-guided Facial Inpainting with Fidelity Preservation
画像のリアリズムを忠実に保存する顔の画像の修復は、非常に困難な作業です。これは、簡単に転送できない主要な顔の特徴(コンポーネント)の微妙なテクスチャによるものです。多くの画像修復技術が提案されており、優れた機能と高い定量的パフォーマンスが記録されています。ただし、顔の修復では、特徴がより目立ち、ブレンドされた修復された領域の視覚的品質が質的に重要になります。これらの事実に基づいて、畳み込みニューラルネットワークレイヤーを使用して顔の特徴を抽出および生成できる、前景にガイドされた顔の修復フレームワークを設計します。忠実度を維持するために前景セグメンテーションマスクの使用を紹介します。具体的には、顔の表情、自然および不自然な特徴(メイクアップ)の意味能力推論を備えた新しい損失関数を提案します。 CelebA-HQデータセット、CelebAMask-HQのセグメンテーションマスク(前景ガイダンス用)、およびクイックドローマスク(欠落領域用)を使用して実験を行います。私たちの提案した方法は、最先端技術と比較した場合、同等の定量的結果を達成しましたが、定性的には、顔のコンポーネントの忠実度の高い保存を示しました。
Facial image inpainting, with high-fidelity preservation for image realism, is a very challenging task. This is due to the subtle texture in key facial features (component) that are not easily transferable. Many image inpainting techniques have been proposed with outstanding capabilities and high quantitative performances recorded. However, with facial inpainting, the features are more conspicuous and the visual quality of the blended inpainted regions are more important qualitatively. Based on these facts, we design a foreground-guided facial inpainting framework that can extract and generate facial features using convolutional neural network layers. It introduces the use of foreground segmentation masks to preserve the fidelity. Specifically, we propose a new loss function with semantic capability reasoning of facial expressions, natural and unnatural features (make-up). We conduct our experiments using the CelebA-HQ dataset, segmentation masks from CelebAMask-HQ (for foreground guidance) and Quick Draw Mask (for missing regions). Our proposed method achieved comparable quantitative results when compare to the state of the art but qualitatively, it demonstrated high-fidelity preservation of facial components.
updated: Fri May 07 2021 15:50:58 GMT+0000 (UTC)
published: Fri May 07 2021 15:50:58 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト