arXiv reaDer
ワンショットエグザンプラをのぞくことによる超解像クロスドメインフェイスミニチュア
Super-Resolving Cross-Domain Face Miniatures by Peeking at One-Shot Exemplar
従来の顔の超解像法は、通常、低解像度(LR)画像のテストがトレーニング画像と同じドメインにあることを前提としています。照明条件とイメージングハードウェアが異なるため、実際の多くのシナリオでは、画像のトレーニングとテストの間のドメインギャップが必然的に発生します。これらのドメインギャップを無視すると、顔の超解像(FSR)のパフォーマンスが低下します。ただし、トレーニングされたFSRモデルをターゲットドメインに効率的かつ効果的に転送する方法は調査されていません。この問題に取り組むために、DAP-FSRネットワークという名前のドメイン対応ピラミッドベースの顔超解像ネットワークを開発します。私たちのDAP-FSRは、ターゲットドメインの高解像度(HR)とLRエグザンプラのペアのみを利用して、ターゲットドメインからLR面を超解像する最初の試みです。具体的には、DAP-FSRはまずエンコーダーを使用して、入力LR面のマルチスケール潜在表現を抽出します。利用できるターゲットドメインの例が1つしかないことを考慮して、ターゲットドメインの顔とソースドメインの潜在的な表現を混合してターゲットドメインデータを拡張し、混合した表現をDAP-FSRのデコーダーにフィードすることを提案します。デコーダーは、ターゲットドメインの画像スタイルに似た新しい顔画像を生成します。生成されたHR面は、ドメインギャップを減らすためにデコーダーを最適化するために使用されます。潜在的な表現とデコーダーを繰り返し更新することにより、DAP-FSRはターゲットドメインに適合し、本物の高品質のアップサンプリングされたHR面を実現します。新しく構築された3つのベンチマークに関する広範な実験により、最先端のDAP-FSRと比較したDAP-FSRの有効性と優れたパフォーマンスが検証されます。
Conventional face super-resolution methods usually assume testing low-resolution (LR) images lie in the same domain as the training ones. Due to different lighting conditions and imaging hardware, domain gaps between training and testing images inevitably occur in many real-world scenarios. Neglecting those domain gaps would lead to inferior face super-resolution (FSR) performance. However, how to transfer a trained FSR model to a target domain efficiently and effectively has not been investigated. To tackle this problem, we develop a Domain-Aware Pyramid-based Face Super-Resolution network, named DAP-FSR network. Our DAP-FSR is the first attempt to super-resolve LR faces from a target domain by exploiting only a pair of high-resolution (HR) and LR exemplar in the target domain. To be specific, our DAP-FSR firstly employs its encoder to extract the multi-scale latent representations of the input LR face. Considering only one target domain example is available, we propose to augment the target domain data by mixing the latent representations of the target domain face and source domain ones, and then feed the mixed representations to the decoder of our DAP-FSR. The decoder will generate new face images resembling the target domain image style. The generated HR faces in turn are used to optimize our decoder to reduce the domain gap. By iteratively updating the latent representations and our decoder, our DAP-FSR will be adapted to the target domain, thus achieving authentic and high-quality upsampled HR faces. Extensive experiments on three newly constructed benchmarks validate the effectiveness and superior performance of our DAP-FSR compared to the state-of-the-art.
updated: Tue Mar 16 2021 05:47:26 GMT+0000 (UTC)
published: Tue Mar 16 2021 05:47:26 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト