既存の顔画像超解像度 (FSR) アルゴリズムは通常、最適な結果を得るために、特定の低入力解像度に合わせて特定のモデルをトレーニングします。対照的に、この研究では、一度トレーニングされてから、さまざまな低解像度の入力顔画像を超解像するために使用される統合フレームワークを検討します。この目的のために、我々は、3 つのアンカー自動エンコーダー、1 つの特徴重みリグレッサー、および最終画像デコーダーで構成される新しいニューラル ネットワーク アーキテクチャを提案します。 3 つのアンカー オート エンコーダは、それぞれ 3 つの事前定義された低入力解像度、または名前付きアンカー解像度に対して最適な FSR を実現することを目的としています。任意の低解像度の入力顔画像は、まずバイキュービック補間によってターゲット解像度にアップスケールされ、次に 3 つのオートエンコーダーに並行して供給されます。次に、3 つのエンコードされたアンカー特徴が、特徴重みリグレッサーによって決定された重みと融合されます。最後に、融合された特徴が最終画像デコーダーに送信され、超解像度の結果が得られます。実験によって示されているように、提案されたアルゴリズムは、単一のフレームワークによって、広範囲の低入力解像度にわたって堅牢で最先端のパフォーマンスを達成します。コードとモデルは、この作品の公開後に利用可能になります。
The existing face image super-resolution (FSR) algorithms usually train a specific model for a specific low input resolution for optimal results. By contrast, we explore in this work a unified framework that is trained once and then used to super-resolve input face images of varied low resolutions. For that purpose, we propose a novel neural network architecture that is composed of three anchor auto-encoders, one feature weight regressor and a final image decoder. The three anchor auto-encoders are meant for optimal FSR for three pre-defined low input resolutions, or named anchor resolutions, respectively. An input face image of an arbitrary low resolution is firstly up-scaled to the target resolution by bi-cubic interpolation and then fed to the three auto-encoders in parallel. The three encoded anchor features are then fused with weights determined by the feature weight regressor. At last, the fused feature is sent to the final image decoder to derive the super-resolution result. As shown by experiments, the proposed algorithm achieves robust and state-of-the-art performance over a wide range of low input resolutions by a single framework. Code and models will be made available after the publication of this work.