arXiv reaDer
事前の顔部分空間によるアイデンティティ保持ポーズロバストな顔の幻覚
Identity-Preserving Pose-Robust Face Hallucination Through Face Subspace Prior
過去数十年にわたって、対応する低解像度(LR)の対応物から高解像度(HR)の顔画像を復元する問題に対処するために、多くの試みがなされてきました。これは、一般に顔の幻覚と呼ばれるタスクです。位置パッチと深層学習ベースの方法によって達成された印象的なパフォーマンスにもかかわらず、これらの手法のほとんどは、顔のアイデンティティ固有の機能を回復することができません。前者のアルゴリズムグループは、特に高レベルの劣化が存在する場合に、ぼやけた滑らかな出力を生成することがよくありますが、後者は、入力画像の個人に決して似ていない顔を生成します。この論文では、幻覚を起こした顔が利用可能なトレーニング面にまたがる部分空間にあるように強制される、新しい顔の超解像アプローチを紹介します。したがって、既存の顔の幻覚技術の大部分とは対照的に、以前のこの顔の部分空間のおかげで、再構成は、単に画像の定量的スコアを上げるのではなく、個人固有の顔の特徴を回復するために実行されます。さらに、3D顔再構成の分野における最近の進歩に触発されて、効率的な3D辞書位置合わせスキームも提示されます。これにより、アルゴリズムは、制御されていない状態で撮影された低解像度の顔を処理できるようになります。いくつかのよく知られた顔のデータセットで実行された広範な実験で、提案されたアルゴリズムは、定量的および定性的評価の両方で、最先端の顔の幻覚アルゴリズムを大幅に上回る詳細でグラウンドトゥルースに近い結果を生成することにより、驚くべきパフォーマンスを示します。
Over the past few decades, numerous attempts have been made to address the problem of recovering a high-resolution (HR) facial image from its corresponding low-resolution (LR) counterpart, a task commonly referred to as face hallucination. Despite the impressive performance achieved by position-patch and deep learning-based methods, most of these techniques are still unable to recover identity-specific features of faces. The former group of algorithms often produces blurry and oversmoothed outputs particularly in the presence of higher levels of degradation, whereas the latter generates faces which sometimes by no means resemble the individuals in the input images. In this paper, a novel face super-resolution approach will be introduced, in which the hallucinated face is forced to lie in a subspace spanned by the available training faces. Therefore, in contrast to the majority of existing face hallucination techniques and thanks to this face subspace prior, the reconstruction is performed in favor of recovering person-specific facial features, rather than merely increasing image quantitative scores. Furthermore, inspired by recent advances in the area of 3D face reconstruction, an efficient 3D dictionary alignment scheme is also presented, through which the algorithm becomes capable of dealing with low-resolution faces taken in uncontrolled conditions. In extensive experiments carried out on several well-known face datasets, the proposed algorithm shows remarkable performance by generating detailed and close to ground truth results which outperform the state-of-the-art face hallucination algorithms by significant margins both in quantitative and qualitative evaluations.
updated: Sat Nov 20 2021 17:08:38 GMT+0000 (UTC)
published: Sat Nov 20 2021 17:08:38 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト