arXiv reaDer
Intriguing Property and Counterfactual Explanation of GAN for Remote Sensing Image Generation
敵対的生成ネットワーク (GAN) は、自然画像分野で目覚ましい進歩を遂げました。ただし、リモート センシング (RS) 画像生成タスクに GAN を適用すると、異常な現象が観察されます。GAN モデルは、自然画像生成よりも RS 画像生成のトレーニング データのサイズに対してより敏感です。言い換えれば、RS 画像の生成品質は、トレーニング カテゴリまたはカテゴリごとのサンプル数によって大幅に変化します。この論文では、最初に2種類のおもちゃの実験からこの現象を分析し、GANモデルに含まれる特徴情報の量がトレーニングデータの削減とともに減少すると結論付けました。次に、データ生成プロセスの構造的因果モデル (SCM) を確立し、生成されたデータを反事実として解釈します。この SCM に基づいて、生成された画像の品質が特徴情報の量と正の相関があることを理論的に証明します。これにより、トレーニング中に GAN モデルによって学習された特徴情報を強化するための洞察が得られます。その結果、分布レベルとサンプルレベルでそれぞれGANモデルによって学習される情報を増やすために、2つの革新的な調整スキーム、つまり均一性正則化(UR)とエントロピー正則化(ER)を提案します。私たちは理論的および経験的に、私たちの方法の有効性と汎用性を示しています。 3 つの RS データセットと 2 つの自然なデータセットに関する広範な実験により、RS 画像生成タスクで確立されたモデルよりも私たちの方法の方が優れていることが示されています。ソース コードは で入手できます。
Generative adversarial networks (GANs) have achieved remarkable progress in the natural image field. However, when applying GANs in the remote sensing (RS) image generation task, an extraordinary phenomenon is observed: the GAN model is more sensitive to the size of training data for RS image generation than for natural image generation. In other words, the generation quality of RS images will change significantly with the number of training categories or samples per category. In this paper, we first analyze this phenomenon from two kinds of toy experiments and conclude that the amount of feature information contained in the GAN model decreases with reduced training data. Then we establish a structural causal model (SCM) of the data generation process and interpret the generated data as the counterfactuals. Based on this SCM, we theoretically prove that the quality of generated images is positively correlated with the amount of feature information. This provides insights for enriching the feature information learned by the GAN model during training. Consequently, we propose two innovative adjustment schemes, namely Uniformity Regularization (UR) and Entropy Regularization (ER), to increase the information learned by the GAN model at the distributional and sample levels, respectively. We theoretically and empirically demonstrate the effectiveness and versatility of our methods. Extensive experiments on three RS datasets and two natural datasets show that our methods outperform the well-established models on RS image generation tasks. The source code is available at
updated: Tue May 14 2024 13:46:16 GMT+0000 (UTC)
published: Thu Mar 09 2023 13:22:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト