arXiv reaDer
条件付き対物レンズを使用した柔軟なスタイルの画像超解像
Flexible Style Image Super-Resolution using Conditional Objective
最近の研究では、畳み込みニューラルネットワーク(CNN)を使用して単一画像の超解像(SR)のパフォーマンスが大幅に向上しています。特定の入力に対して多くの高解像度(HR)ソリューションが存在する可能性がありますが、ほとんどの既存のCNNベースの方法では、推論中に代替ソリューションを検討しません。代替のSR結果を取得するための一般的なアプローチは、損失の重み付けが異なる複数のSRモデルをトレーニングし、これらのモデルの組み合わせを活用することです。複数のモデルを使用する代わりに、マルチタスク学習を利用して、損失のさまざまな組み合わせについて単一の調整可能なSRモデルをトレーニングするためのより効率的な方法を紹介します。具体的には、トレーニング中に条件付きの目的でSRモデルを最適化します。目的は、さまざまな機能レベルでの複数の知覚損失の加重和です。重みは特定の条件によって異なり、重みのセットはスタイルコントローラーとして定義されます。また、このトレーニングスキームに適したアーキテクチャを紹介します。これは、空間特徴変換レイヤーを備えたResidual-in-Residual DenseBlockです。推論フェーズでは、トレーニング済みモデルは、スタイル制御マップを条件としてローカルで異なる出力を生成できます。広範な実験は、提案されたSRモデルがアーティファクトなしでさまざまな望ましい再構成を生成し、最先端のSRメソッドに匹敵する定量的パフォーマンスをもたらすことを示しています。
Recent studies have significantly enhanced the performance of single-image super-resolution (SR) using convolutional neural networks (CNNs). While there can be many high-resolution (HR) solutions for a given input, most existing CNN-based methods do not explore alternative solutions during the inference. A typical approach to obtaining alternative SR results is to train multiple SR models with different loss weightings and exploit the combination of these models. Instead of using multiple models, we present a more efficient method to train a single adjustable SR model on various combinations of losses by taking advantage of multi-task learning. Specifically, we optimize an SR model with a conditional objective during training, where the objective is a weighted sum of multiple perceptual losses at different feature levels. The weights vary according to given conditions, and the set of weights is defined as a style controller. Also, we present an architecture appropriate for this training scheme, which is the Residual-in-Residual Dense Block equipped with spatial feature transformation layers. At the inference phase, our trained model can generate locally different outputs conditioned on the style control map. Extensive experiments show that the proposed SR model produces various desirable reconstructions without artifacts and yields comparable quantitative performance to state-of-the-art SR methods.
updated: Tue Jan 18 2022 11:08:19 GMT+0000 (UTC)
published: Thu Jan 13 2022 11:39:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト