arXiv reaDer
顔の超解像と編集のための複数の例に基づく幻覚
Multiple Exemplars-based Hallucinationfor Face Super-resolution and Editing
顔の非常に低解像度の入力画像(たとえば、16x16または8x8ピクセル)が与えられた場合、このペーパーの目的は、その高解像度バージョンを再構築することです。高周波情報は低解像度入力に欠けており、画像コンテンツに関する事前の知識に基づいて幻覚を使用する必要があるため、これ自体は不適切な問題です。このホワイトペーパーでは、以前の一般的な顔に依存するのではなく、一連の見本、つまり同じ人物の他の高解像度画像の使用について説明します。これらは、出力を調整するときにニューラルネットワークを導きます。複数のイグザンプラは単一のものよりもうまく機能します。複数の見本からの情報を効果的に組み合わせるために、ピクセル単位の重み生成モジュールを導入します。標準的な顔の超解像に加えて、私たちの方法では、見本を別の顔の特徴を持つ別のセットに置き換えるだけで、微妙な顔の編集を実行できます。ユーザー調査が実施され、超解像画像がCelebAデータセットの実際の画像とほとんど区別できないことが示されています。定性的な比較は、CelebAおよびWebFaceデータセットに関する文献で提案されている方法よりもモデルの方が優れていることを示しています。
Given a really low-resolution input image of a face (say 16x16 or 8x8 pixels), the goal of this paper is to reconstruct a high-resolution version thereof. This, by itself, is an ill-posed problem, as the high-frequency information is missing in the low-resolution input and needs to be hallucinated, based on prior knowledge about the image content. Rather than relying on a generic face prior, in this paper, we explore the use of a set of exemplars, i.e. other high-resolution images of the same person. These guide the neural network as we condition the output on them. Multiple exemplars work better than a single one. To combine the information from multiple exemplars effectively, we introduce a pixel-wise weight generation module. Besides standard face super-resolution, our method allows to perform subtle face editing simply by replacing the exemplars with another set with different facial features. A user study is conducted and shows the super-resolved images can hardly be distinguished from real images on the CelebA dataset. A qualitative comparison indicates our model outperforms methods proposed in the literature on the CelebA and WebFace dataset.
updated: Thu Jan 14 2021 09:55:02 GMT+0000 (UTC)
published: Wed Sep 16 2020 17:35:26 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト