この論文では、Variational AutoEncoder (RefVAE) を介した新しい参照ベースの画像超解像アプローチを提案します。既存の最先端の方法は、主に単一画像の超解像に焦点を合わせており、8 倍などの大きなアップサンプリング係数ではうまく機能しません。任意の画像が超解像の基準として機能する参照ベースの画像超解像を提案します。ランダム マップや低解像度画像自体を使用しても、提案された RefVAE は、参照からの知識を超解像画像に転送できます。さまざまな参照に応じて、提案された方法は、隠れた超解像空間からさまざまなバージョンの超解像画像を生成できます。 PSNR と SSIM を使用したいくつかの標準的な評価に異なるデータセットを使用することに加えて、NTIRE2021 SR スペース チャレンジにも参加し、アプローチのランダム性評価の結果を提供しました。他の最先端の方法と比較して、私たちのアプローチはより高い多様性のスコアを達成します。
In this paper, we propose a novel reference based image super-resolution approach via Variational AutoEncoder (RefVAE). Existing state-of-the-art methods mainly focus on single image super-resolution which cannot perform well on large upsampling factors, e.g., 8×. We propose a reference based image super-resolution, for which any arbitrary image can act as a reference for super-resolution. Even using random map or low-resolution image itself, the proposed RefVAE can transfer the knowledge from the reference to the super-resolved images. Depending upon different references, the proposed method can generate different versions of super-resolved images from a hidden super-resolution space. Besides using different datasets for some standard evaluations with PSNR and SSIM, we also took part in the NTIRE2021 SR Space challenge and have provided results of the randomness evaluation of our approach. Compared to other state-of-the-art methods, our approach achieves higher diverse scores.