知覚損失と敵対的損失でトレーニングされた単一画像超解像 (SISR) ネットワークは、L1 や L2 などの歪み指向の損失でトレーニングされたネットワークと比較して、コントラストの高い出力を提供します。ただし、単一の知覚損失を使用しても、画像内の局所的に変化する多様な形状を正確に復元するには不十分であり、望ましくないアーティファクトや不自然な詳細がしばしば生成されることが示されています。このため、知覚損失、敵対的損失、歪み損失など、さまざまな損失の組み合わせが試みられてきましたが、最適な組み合わせを見つけることは依然として困難です。したがって、この論文では、各地域に最適な目的を適用して、高解像度出力の領域全体で妥当な結果を生成する新しい SISR フレームワークを提案します。具体的には、このフレームワークは 2 つのモデルで構成されています。1 つは特定の低解像度 (LR) 入力に対して最適な客観的マップを推測する予測モデル、もう 1 つはターゲットの客観的マップを適用して対応する SR 出力を生成する生成モデルです。生成モデルは、基本的な目的のセットを表す提案された目的の軌道でトレーニングされます。これにより、単一のネットワークは、軌道上の複合損失に対応するさまざまな SR 結果を学習できます。予測モデルは、LR 画像のペアと、目的の軌跡から検索された対応する最適な目的マップを使用してトレーニングされます。 5 つのベンチマークに関する実験結果は、提案された方法が、LPIPS、DISTS、PSNR、および SSIM メトリクスで最先端の知覚駆動型 SR 方法よりも優れていることを示しています。視覚的な結果は、知覚指向の再構成における私たちの方法の優位性も示しています。コードとモデルは https://github.com/seungho-snu/SROOE で入手できます。
Single-image super-resolution (SISR) networks trained with perceptual and adversarial losses provide high-contrast outputs compared to those of networks trained with distortion-oriented losses, such as L1 or L2. However, it has been shown that using a single perceptual loss is insufficient for accurately restoring locally varying diverse shapes in images, often generating undesirable artifacts or unnatural details. For this reason, combinations of various losses, such as perceptual, adversarial, and distortion losses, have been attempted, yet it remains challenging to find optimal combinations. Hence, in this paper, we propose a new SISR framework that applies optimal objectives for each region to generate plausible results in overall areas of high-resolution outputs. Specifically, the framework comprises two models: a predictive model that infers an optimal objective map for a given low-resolution (LR) input and a generative model that applies a target objective map to produce the corresponding SR output. The generative model is trained over our proposed objective trajectory representing a set of essential objectives, which enables the single network to learn various SR results corresponding to combined losses on the trajectory. The predictive model is trained using pairs of LR images and corresponding optimal objective maps searched from the objective trajectory. Experimental results on five benchmarks show that the proposed method outperforms state-of-the-art perception-driven SR methods in LPIPS, DISTS, PSNR, and SSIM metrics. The visual results also demonstrate the superiority of our method in perception-oriented reconstruction. The code and models are available at https://github.com/seungho-snu/SROOE.