この論文では、新しいタスク、すなわち、画像の気象条件をあるカテゴリから別のカテゴリに転送することを指す気象変換が提案されています。写真スタイルの転送には重要です。従来の画像翻訳タスクでは多くのアプローチが提案されてきましたが、気象条件には豊富なカテゴリと非常に複雑なセマンティック構造があるため、マルチカテゴリの気象翻訳タスクを処理できるアプローチはほとんどありません。この問題に対処するために、Weather GANと呼ばれる生成的敵対的ネットワーク(GAN)に基づくマルチドメイン気象変換アプローチを開発します。これにより、晴れ、曇り、霧、雨、雪の間で気象条件を転送できます。具体的には、画像の気象条件は、雲、青空、湿地など、さまざまな気象キューによって決定されます。したがって、気象変換では、気象キューに主な注意を向けることが不可欠です。この目的のために、Weather GANのジェネレーターは、初期変換モジュール、アテンションモジュール、およびウェザーキューセグメンテーションモジュールで構成されています。初期変換モジュールは、生成手順中にグローバル変換を実行します。ウェザーキューセグメンテーションモジュールは、ウェザーキューの構造と正確な分布を識別します。アテンションモジュールは、他の領域を変更せずに、画像の興味深い領域に焦点を当てることを学習します。最終的に生成される結果は、これら3つの部分によって合成されます。このアプローチは、天候の変換によって引き起こされる歪みと変形を抑制します。私たちのアプローチは、最先端の技術を上回っています。これは、多数の実験と評価によって示されています。
In this paper, a new task is proposed, namely, weather translation, which refers to transferring weather conditions of the image from one category to another. It is important for photographic style transfer. Although lots of approaches have been proposed in traditional image translation tasks, few of them can handle the multi-category weather translation task, since weather conditions have rich categories and highly complex semantic structures. To address this problem, we develop a multi-domain weather translation approach based on generative adversarial networks (GAN), denoted as Weather GAN, which can achieve the transferring of weather conditions among sunny, cloudy, foggy, rainy and snowy. Specifically, the weather conditions in the image are determined by various weather-cues, such as cloud, blue sky, wet ground, etc. Therefore, it is essential for weather translation to focus the main attention on weather-cues. To this end, the generator of Weather GAN is composed of an initial translation module, an attention module and a weather-cue segmentation module. The initial translation module performs global translation during generation procedure. The weather-cue segmentation module identifies the structure and exact distribution of weather-cues. The attention module learns to focus on the interesting areas of the image while keeping other areas unaltered. The final generated result is synthesized by these three parts. This approach suppresses the distortion and deformation caused by weather translation. our approach outperforms the state-of-the-arts has been shown by a large number of experiments and evaluations.