可逆ニューラル ネットワーク (INN) を使用したフロー モデルの正規化は、潜在変数 z の正規分布と高解像度 (HR) 画像の条件付き分布との間の変換を学習することにより、生成画像の超解像 (SR) を成功させるために広く調査されています。低解像度 (LR) 入力。最近、IRN のような画像再スケーリング モデルは、INN の双方向性を利用して、ダウンスケーリングとアップスケーリングのステップを一緒に最適化することにより、画像アップスケーリングのパフォーマンス限界を押し上げます。潜在変数 z のランダム サンプリングは、さまざまな写実的な画像を生成するのに役立ちますが、HR 画像の正確な復元がより重要な場合の画像の再スケーリングには望ましくありません。したがって、z のランダム サンプリングの場所では、画像再スケーリング パフォーマンスの限界をさらに押し上げる補助的なエンコード モジュールを提案します。エンコードされた潜在変数をダウンスケールされた LR 画像に格納するための 2 つのオプションが提案されています。どちらも既存の画像ファイル形式で容易にサポートされます。 1 つはアルファ チャネルとして保存され、もう 1 つはイメージ ヘッダーのメタデータとして保存され、対応するモジュールはそれぞれ接尾辞 -A および -M として示されます。 IRN や DLV-IRN などのさまざまなベースライン モデルで再スケーリングのパフォーマンス制限を引き上げる効果を実証するために、両方のオプションについて最適なネットワーク アーキテクチャの変更を調査します。
Normalizing flow models using invertible neural networks (INN) have been widely investigated for successful generative image super-resolution (SR) by learning the transformation between the normal distribution of latent variable z and the conditional distribution of high-resolution (HR) images gave a low-resolution (LR) input. Recently, image rescaling models like IRN utilize the bidirectional nature of INN to push the performance limit of image upscaling by optimizing the downscaling and upscaling steps jointly. While the random sampling of latent variable z is useful in generating diverse photo-realistic images, it is not desirable for image rescaling when accurate restoration of the HR image is more important. Hence, in places of random sampling of z, we propose auxiliary encoding modules to further push the limit of image rescaling performance. Two options to store the encoded latent variables in downscaled LR images, both readily supported in existing image file format, are proposed. One is saved as the alpha-channel, the other is saved as meta-data in the image header, and the corresponding modules are denoted as suffixes -A and -M respectively. Optimal network architectural changes are investigated for both options to demonstrate their effectiveness in raising the rescaling performance limit on different baseline models including IRN and DLV-IRN.