arXiv reaDer
顔の超解像に耳を傾けることを学ぶ
Learning to Have an Ear for Face Super-Resolution
 極端な顔の超解像(入力サイズの16倍の増加)を実行するために、オーディオと低解像度画像の両方を使用する新しい方法を提案します。入力画像の解像度が非常に低い(8x8ピクセルなど)場合、情報の損失は非常に悲惨なため、元のアイデンティティの重要な詳細が失われ、オーディオはもっともらしい高解像度画像の回復に役立ちます。実際、音声には性別や年齢などの顔の属性に関する情報が含まれています。聴覚と視覚のモダリティを組み合わせるために、最初に1つのオーディオトラックから、次に1つの低解像度画像から顔の潜在的な表現を構築する方法を提案します。次に、これら2つの表現を融合するようにネットワークをトレーニングします。オーディオは性別、年齢、アイデンティティなどの属性を回復するのに役立ち、したがって高解像度画像再構成プロセスの正確さを改善できることを実験的に示します。この手順では、人間の注釈を使用しないため、既存のビデオデータセットを使用して簡単にトレーニングできます。さらに、さまざまなビデオからの低解像度の画像と音声を混合し、意味的に意味のある組み合わせで現実的な顔を生成できるため、モデルが画像と音声の因数分解表現を構築することを示します。
We propose a novel method to use both audio and a low-resolution image to perform extreme face super-resolution (a 16x increase of the input size). When the resolution of the input image is very low (e.g., 8x8 pixels), the loss of information is so dire that important details of the original identity have been lost and audio can aid the recovery of a plausible high-resolution image. In fact, audio carries information about facial attributes, such as gender and age. To combine the aural and visual modalities, we propose a method to first build the latent representations of a face from the lone audio track and then from the lone low-resolution image. We then train a network to fuse these two representations. We show experimentally that audio can assist in recovering attributes such as the gender, the age and the identity, and thus improve the correctness of the high-resolution image reconstruction process. Our procedure does not make use of human annotation and thus can be easily trained with existing video datasets. Moreover, we show that our model builds a factorized representation of images and audio as it allows one to mix low-resolution images and audio from different videos and to generate realistic faces with semantically meaningful combinations.
updated: Thu Apr 02 2020 16:14:12 GMT+0000 (UTC)
published: Fri Sep 27 2019 16:28:55 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト