arXiv reaDer
超解像を改善するための1対多のアプローチ
One-to-many Approach for Improving Super-Resolution
超解像(SR)は、複数の可能な解決策を伴う1対多のタスクです。しかし、これまでの作品はこの特徴を気にしませんでした。 1対多のパイプラインの場合、ジェネレーターは再構成の複数の推定値を生成できる必要があり、同様の同等に現実的な画像を生成することでペナルティを課されないようにする必要があります。これを実現するために、Residual-in-Residual Dense Block(RRDB)ごとに重み付きピクセル単位のノイズを追加して、ジェネレーターがさまざまな画像を生成できるようにすることを提案します。コンテンツが一貫している限り、再構成された画像の確率的変動にペナルティを課さないように、厳密なコンテンツ損失を変更します。さらに、DIV2K、DIV8Kデータセットには、役に立たないガイドラインを提供する焦点が合っていない領域があることがわかります。 [10]の方法を使用して、トレーニングデータのぼやけた領域をフィルタリングします。最後に、低解像度の画像をターゲット画像とともに参照画像として受信するようにディスクリミネーターを変更して、ジェネレーターにより良いフィードバックを提供します。提案された方法を使用して、x4知覚SRでESRGANのパフォーマンスを改善し、x16知覚極端SRで最先端のLPIPSスコアを達成することができました。
Super-resolution (SR) is a one-to-many task with multiple possible solutions. However, previous works were not concerned about this characteristic. For a one-to-many pipeline, the generator should be able to generate multiple estimates of the reconstruction, and not be penalized for generating similar and equally realistic images. To achieve this, we propose adding weighted pixel-wise noise after every Residual-in-Residual Dense Block (RRDB) to enable the generator to generate various images. We modify the strict content loss to not penalize the stochastic variation in reconstructed images as long as it has consistent content. Additionally, we observe that there are out-of-focus regions in the DIV2K, DIV8K datasets that provide unhelpful guidelines. We filter blurry regions in the training data using the method of [10]. Finally, we modify the discriminator to receive the low-resolution image as a reference image along with the target image to provide better feedback to the generator. Using our proposed methods, we were able to improve the performance of ESRGAN in x4 perceptual SR and achieve the state-of-the-art LPIPS score in x16 perceptual extreme SR.
updated: Sat Jun 19 2021 06:41:29 GMT+0000 (UTC)
published: Sat Jun 19 2021 06:41:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト