画像復元レベルの変調は、復元強度を表す係数を変更することにより、復元された画像を生成することを目的としています。以前の作品は、主に平均二乗再構成エラーの最適化に焦点を当てていました。これは、高い再構成精度をもたらしますが、より細かいテクスチャの詳細が欠けています。このホワイトペーパーでは、変調タスクで高周波テクスチャを生成するための制御可能なUnet Generative Adversarial Network(CUGAN)について説明します。 CUGANは、ベースネットワークとコンディションネットワークの2つのモジュールで構成されています。基本ネットワークは、ジェネレータとディスクリミネータで構成されます。ジェネレーターでは、Unetアーキテクチャーのさまざまなスケールからさまざまな機能の重みを調整することにより、復元レベルのインタラクティブな制御を実現します。さらに、劣化の重大度に応じて、ディスクリミネーターの中間機能を適応的に調整します。条件ネットワークは、条件ベクトル(エンコードされた劣化情報)を入力として受け取り、ジェネレーターとディスクリミネーターの両方の変調パラメーターを生成します。テスト中に、ユーザーは条件ベクトルを微調整することで出力効果を制御できます。また、簡単な遷移方法により、GAN効果とMSE効果の間のスムーズな遷移を提供します。広範な実験は、提案されたCUGANが画像復元変調タスクで優れたパフォーマンスを達成することを示しています。
Modulating image restoration level aims to generate a restored image by altering a factor that represents the restoration strength. Previous works mainly focused on optimizing the mean squared reconstruction error, which brings high reconstruction accuracy but lacks finer texture details. This paper presents a Controllable Unet Generative Adversarial Network (CUGAN) to generate high-frequency textures in the modulation tasks. CUGAN consists of two modules -- base networks and condition networks. The base networks comprise a generator and a discriminator. In the generator, we realize the interactive control of restoration levels by tuning the weights of different features from different scales in the Unet architecture. Moreover, we adaptively modulate the intermediate features in the discriminator according to the severity of degradations. The condition networks accept the condition vector (encoded degradation information) as input, then generate modulation parameters for both the generator and the discriminator. During testing, users can control the output effects by tweaking the condition vector. We also provide a smooth transition between GAN and MSE effects by a simple transition method. Extensive experiments demonstrate that the proposed CUGAN achieves excellent performance on image restoration modulation tasks.